mac mini m4 4대를 클러스터로 만들어서 llm 돌리는 실험
알림
|
페이지 정보
작성일
2024.11.11 10:41
본문
mac mini m4 4대를 클러스터로 만들어서 llm 돌리는 실험을 한 사람이 있어서 가져와봅니다.
Thunderbolt 5 상호 연결(80Gbps)을 사용하여 4개의 M4 Pro Mac Mini에 분산된 LLM을 실행합니다. 클러스터는 작습니다(참고용 iPhone). 초당 8톡으로 네모트론 70B를 실행하고 있으며, 라마 405B(곧 벤치마크)까지 확장할 수 있습니다. 애플이 엔비디아를 이길수는 없겠지만 다른 시장을 개척할 수 있어 보입니다.
https://x.com/alexocheema/status/1855238474917441972
애플이 서버를 폭스콘에 의뢰한 것으로 보아 내년 WWDC에는 결과물이 나올듯 울트라 이상이어야 서버확장으로 갈거 같습니다. 나오면 산다? 아니 일단 M4 4대를
댓글 4
/ 1 페이지
MDBK님의 댓글
아무래도 alex ziskind라는 유투버가 옛날에 시도해보고 이번 m4 나온뒤에도 시도해봤어서 저도 생각은 하고 있던 컨셉인데 llm돌릴거면 m4 프로한대 살돈으로 싸게 깡통 두대 사서 하는게 더 큰 모델 돌릴 수 있을거 같습니다. 4대면 총 8대 사고 돈이 남아 10대도 살 수 있을꺼 같네요.
드라마중독님의 댓글
선더볼트5라는거보니 m4 프로 4대인거네요..
채소 800... 하지만 llama405B까지 돌릴수 있다면... 엄청난거네요 ㄷㄷㄷㄷ
채소 800... 하지만 llama405B까지 돌릴수 있다면... 엄청난거네요 ㄷㄷㄷㄷ
엉클머리님의 댓글