이어 쓰기 맥북프로 M4 LLM 돌려 보기 2탄
페이지 정보
작성자
마이너스아이
마이너스아이
작성일
2025.03.17 13:26
본문
https://damoang.net/free/3337448
아래 글에서 다른 것도 테스트 해보겠다 했는데 몰라마 에서는 큰 모델들이 응답을 주지 못하는 오류가 발생해서
고생하다가 LM 스튜디오로 바꾸면서 32b 모델 까지 돌려 봤습니다.
Llama 3.1 8b 모델은 그저 날라 다닙니다.
유표 chatgpt 보다 훨씬 빠른 응답 속도로 질문하면 바로 좌라락 하고 응답이 나옵니다.
이정도면 그냥 로컬에서 써도 될 정도이고 제가 주로 사용하는 코딩에 관련한 것은 두말 할 것 없이 좋습니다.
그래도 좀 큰모델을 돌려 보려고 qwq 32b 모델을 올려서 써봤습니다.
질문을 한참~~~ 생각을 하고 답변을 주는데 글자 찍히는게 보입니다.
질문을 생각하는데 상당한 시간이 걸리고 답변을 출력하는 데에도 시간이 좀 걸립니다.
하지만 답변의 내용이 8b 에 비해 상당히 자세하고 요약이 잘된 내용을 전달 해줍니다.
좀더 큰 70b 모들과 (이게 한계일 듯) 새로 올라왔다는 gemma 27b 를 돌려 보고 후기 남기겠습니다.
3명
추천인 목록보기
댓글 13
/ 1 페이지
마이너스아이님의 댓글의 댓글
작성일
03.17 13:31
@MDBK님에게 답글
512는 M4 Ultra 가 나와야 가능... 아니면 M3 Ultra로... 천만원이 넘어갑니다.
MDBK님의 댓글의 댓글
작성일
03.17 13:37
@구구탄별님에게 답글
맥미니 32기가로 32b 4b - 8b 돌릴 수 있는데 4토큰 정도라… m4맥스가 땡깁니다!
MDBK님의 댓글
작성자
MDBK
MDBK
작성일
03.17 13:40
전 m4미니 32기가에 엘지에서 튜닝한 exaone 3.5쓰는데 대충 4토큰 / 초 나오더라고요 맥스는 몇정도 나오는지 봐주실수 있을까요?
마이너스아이님의 댓글의 댓글
작성일
03.17 13:46
@MDBK님에게 답글
8b 모델은 50 tok/sec 내외 인데 거의 평군 50 토큰 같습니다.
MDBK님의 댓글의 댓글
작성일
03.17 14:15
@마이너스아이님에게 답글
8b는 그냥 m4 도 대충 40 언저리 나오던걸로 기억하는데 3b 였나… 집가서 다시한번 봐야겠군요
휘소님의 댓글
작성자
휘소
휘소
작성일
03.17 15:44
3060이 100 TOPS고 내장 ai NPU가 40 TOPS면 내장 NPU보다는 외장그래픽 성능이 더 좋은거죠?
맥미니, 맥스튜디오로 스택 클러스터링하시는 분들은 진짜 대단하시네요.
https://bbs.ruliweb.com/mobile/board/1004/read/2262781
맥미니, 맥스튜디오로 스택 클러스터링하시는 분들은 진짜 대단하시네요.
https://bbs.ruliweb.com/mobile/board/1004/read/2262781
마이너스아이님의 댓글
답변이 끝나면 금새 돌아가기는 합니다.