정보
mac mini m4 4대를 클러스터로 만들어서 llm 돌리는 실험
덴
덴디 (182.♡.33.72)
2024년 11월 11일 AM 10:41 · 수정됨(11. 25. 05:01)
조회 2,224 공감 0
https://x.com/alexocheema/status/1855238474917441972
mac mini m4 4대를 클러스터로 만들어서 llm 돌리는 실험을 한 사람이 있어서 가져와봅니다.
Thunderbolt 5 상호 연결(80Gbps)을 사용하여 4개의 M4 Pro Mac Mini에 분산된 LLM을 실행합니다. 클러스터는 작습니다(참고용 iPhone). 초당 8톡으로 네모트론 70B를 실행하고 있으며, 라마 405B(곧 벤치마크)까지 확장할 수 있습니다. 애플이 엔비디아를 이길수는 없겠지만 다른 시장을 개척할 수 있어 보입니다.
https://x.com/alexocheema/status/1855238474917441972
애플이 서버를 폭스콘에 의뢰한 것으로 보아 내년 WWDC에는 결과물이 나올듯 울트라 이상이어야 서버확장으로 갈거 같습니다. 나오면 산다? 아니 일단 M4 4대를
댓글 (5)
-
엉엉클머리
24.11.11 · 211.♡.237.157
:-) -
MMDBK
24.11.11 · 172.♡.95.46
아무래도 alex ziskind라는 유투버가 옛날에 시도해보고 이번 m4 나온뒤에도 시도해봤어서 저도 생각은 하고 있던 컨셉인데 llm돌릴거면 m4 프로한대 살돈으로 싸게 깡통 두대 사서 하는게 더 큰 모델 돌릴 수 있을거 같습니다. 4대면 총 8대 사고 돈이 남아 10대도 살 수 있을꺼 같네요.
{video: https://youtu.be/uuRkRmM9XMc?si=0GpN2Izt-qkdtO5m } - 드
드라마중독
24.11.14 · 211.♡.106.87
선더볼트5라는거보니 m4 프로 4대인거네요..
채소 800... 하지만 llama405B까지 돌릴수 있다면... 엄청난거네요 ㄷㄷㄷㄷ -
HHTTR
24.11.18 · 121.♡.146.165
썬더볼트로 연결하는 데 돈이 더 들거 같은데요 -
조조알
→ HTTR 24.11.25 · 73.♡.23.34
맥미니 m4 pro 는 기본적으로 썬더볼트5 포트를 3개 탑재하고 있어서 케이블만 있으면 인터커넥션이 됩니다. 별도 장비가 필요없어요
댓글을 작성하려면 이 필요합니다.