맥미니 m4 프로는 노예로 팔려가는 운명을 피하지 못했군요.
알림
|
페이지 정보
작성일
2024.11.13 00:49
본문
댓글 12
/ 1 페이지
molla님의 댓글
M4 GPU 성능이 4090과 비교될 정도로 좋은 건 아닙니다. (M4 Max정도로 가야 GTX 4070 mobile 보다 조금 나은 정도라는 것 같으니까요. 4090은 4070 mobile 보다 5~6배 정도 더 빠르다는 것 같구요.)
다만 저런 큰 LLM 모델을 돌리려면 계산 성능도 중요하지만 저 큰 모델을 올릴 메모리가 필요합니다. (일단 모델을 쪼개서라도 GPU에 올려야 시작을 할 수 있는데, 메모리가 부족하면 시작조차 못 하니까요.)
위의 사진에 나온 것처럼 4090 이래봐야 24GB 인데, 70B 모델은 메모리가 70G 정도는 필요하다고 봐야 합니다. 그럼 24G 그래픽 카드로는 3장은 있어야 한다는 것이지요.
이들이 컴퓨터 한대에 안 들어가면, 서로 빠르게 연결하기 위한 네트워크 카드 등도 필요하게 되고... 가격이 미친듯이 올라가겠죠.
그런 면에서 추론 속도는 느려도 메모리가 빵빵한 (비슷한 가격대에 메모리는 64GB 니까요.) M4 가 가성비 머신으로 주목받게 되는 것이지요. 게다가 썬더볼트로 연결하면 추가 비용도 거의 안 드니까요.
다만 저런 큰 LLM 모델을 돌리려면 계산 성능도 중요하지만 저 큰 모델을 올릴 메모리가 필요합니다. (일단 모델을 쪼개서라도 GPU에 올려야 시작을 할 수 있는데, 메모리가 부족하면 시작조차 못 하니까요.)
위의 사진에 나온 것처럼 4090 이래봐야 24GB 인데, 70B 모델은 메모리가 70G 정도는 필요하다고 봐야 합니다. 그럼 24G 그래픽 카드로는 3장은 있어야 한다는 것이지요.
이들이 컴퓨터 한대에 안 들어가면, 서로 빠르게 연결하기 위한 네트워크 카드 등도 필요하게 되고... 가격이 미친듯이 올라가겠죠.
그런 면에서 추론 속도는 느려도 메모리가 빵빵한 (비슷한 가격대에 메모리는 64GB 니까요.) M4 가 가성비 머신으로 주목받게 되는 것이지요. 게다가 썬더볼트로 연결하면 추가 비용도 거의 안 드니까요.
칼쓰뎅님의 댓글
오...썬더볼트5로 계속 묶을수가 있나보군요? 대단하긴하네요 ㅎㅎ
4090가지고 있는데 진짜 메모리가 많이 발목을 잡더라구요. 그냥 소소하게 굴리기엔 속도는 차고 넘치고요.
m4 pro면 속도는 1/4정도인듯한데... 완전 대형 모델들도 그냥저냥 쓸만한 수준까진 되나봅니다.
4090가지고 있는데 진짜 메모리가 많이 발목을 잡더라구요. 그냥 소소하게 굴리기엔 속도는 차고 넘치고요.
m4 pro면 속도는 1/4정도인듯한데... 완전 대형 모델들도 그냥저냥 쓸만한 수준까진 되나봅니다.
백에이커의숲님의 댓글
맥간의 상호연결도 결국 ip로 하는거죠? 그럼 레이턴시는 제법 있겠네요 nvlink같은건 안되려나… ㅋㅋ
Realtime님의 댓글
무선랜으로도 가능하긴 합니다만, 제 경우엔 썬볼로 연결한 맥 끼리 시너지로 제어하고 있습니다.
회사 맥에 붙인 개인 맥으로 좀 더 편리하게 시급좀도둑질이 가능한 것 입니다!!!!
회사 맥에 붙인 개인 맥으로 좀 더 편리하게 시급좀도둑질이 가능한 것 입니다!!!!
조알님의 댓글의 댓글
@Realtime님에게 답글
맥미니는 10Gbps 짜리 이더넷이 내장되어 있고, 썬더볼트5로 연결하면 80Gbps 까지 가능합니다.
무선랜으론 그에비하면 많이 느리죠. 가장 최신규격에 이론상 최고속도까지 가도 9.6Gbps 이고
무선랜 특성상 이론 최고속도에 비해 실속도는 훨씬 더 느리니까요.
사실 인터커넥션 빠른게 필요하면 인피니밴드 사용하면 100Gbps 이상도 가능하지만,
맥미니는 PCI 슬랏이 없어서 인피니밴드는 불가능하고요.
무선랜으론 그에비하면 많이 느리죠. 가장 최신규격에 이론상 최고속도까지 가도 9.6Gbps 이고
무선랜 특성상 이론 최고속도에 비해 실속도는 훨씬 더 느리니까요.
사실 인터커넥션 빠른게 필요하면 인피니밴드 사용하면 100Gbps 이상도 가능하지만,
맥미니는 PCI 슬랏이 없어서 인피니밴드는 불가능하고요.
조알님의 댓글
Nemotron 70B 모델이 맥미니 M4 4대에서 8 tok/second 라고 하는데
4090 한대에서 2.7 tok/second 라고 합니다.
4090 3대 정도는 있어야 M4 4대정도 성능이 나올 것 같아 보이네요.
아무래도 dGPU 는 성능은 좋지만 메모리 크기의 한계로 인해서 제약이 큰 것 같습니다.
4090 한대에서 2.7 tok/second 라고 합니다.
4090 3대 정도는 있어야 M4 4대정도 성능이 나올 것 같아 보이네요.
아무래도 dGPU 는 성능은 좋지만 메모리 크기의 한계로 인해서 제약이 큰 것 같습니다.
건강한전립선님의 댓글
근데 맥에선 겜이 안돌아가는데(아예안돌아가는건아니지만) ... 작업성능으로 비교하나요?