mac mini m4 4대를 클러스터로 만들어서 llm 돌리는 실험

알림
|
X

페이지 정보

작성자 덴디 182.♡.33.72
작성일 2024.11.11 10:41
분류 정보
307 조회
0 추천
글쓰기

본문

mac mini m4 4대를 클러스터로 만들어서 llm 돌리는 실험을 한 사람이 있어서 가져와봅니다.


Thunderbolt 5 상호 연결(80Gbps)을 사용하여 4개의 M4 Pro Mac Mini에 분산된 LLM을 실행합니다. 클러스터는 작습니다(참고용 iPhone). 초당 8톡으로 네모트론 70B를 실행하고 있으며, 라마 405B(곧 벤치마크)까지 확장할 수 있습니다. 애플이 엔비디아를 이길수는 없겠지만 다른 시장을 개척할 수 있어 보입니다.


https://x.com/alexocheema/status/1855238474917441972


애플이 서버를 폭스콘에 의뢰한 것으로 보아 내년 WWDC에는 결과물이 나올듯 울트라 이상이어야 서버확장으로 갈거 같습니다. 나오면 산다? 아니 일단 M4 4대를 

댓글 3 / 1 페이지

엉클머리님의 댓글

작성자 엉클머리 (220.♡.180.115)
작성일 11.11 10:50
405 땡깁니다.

MDBK님의 댓글

작성자 MDBK (172.♡.95.46)
작성일 11.11 13:02
아무래도 alex ziskind라는 유투버가 옛날에 시도해보고 이번 m4 나온뒤에도 시도해봤어서 저도 생각은 하고 있던 컨셉인데 llm돌릴거면 m4 프로한대 살돈으로 싸게 깡통 두대 사서 하는게 더 큰 모델 돌릴 수 있을거 같습니다. 4대면 총 8대 사고 돈이 남아 10대도 살 수 있을꺼 같네요.

드라마중독님의 댓글

작성자 no_profile 드라마중독 (211.♡.106.87)
작성일 11:30
선더볼트5라는거보니 m4 프로 4대인거네요..
채소 800... 하지만 llama405B까지 돌릴수 있다면... 엄청난거네요 ㄷㄷㄷㄷ
글쓰기
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색