DINKIssTyle (61.♡.73.102)
2025년 4월 28일 AM 09:19 · 수정됨(14:20)
토큰 속도는 1~3/초 정도 더 나오는 느낌적인 느낌이고...
그 보다는 GPU라고 쓰고 애플실리콘에서는 CPU온도가 좀더 더디게 오르고 빠르게 식네요 ㄷㄷ
양자화의 최적화가 관건이네요 거의 동일한 품질에 이렇게 더 가벼워질 수 있다니..
경우에 따라선 램 64GB에서도 올려 놓고 쓸만할랑 말랑하니깐..
제 사용환경에서는 128GB 되면 상주 시켜놓고 써도 되겠습니다.
로컬 LLM을 쓸때마다 생각되는 것이.. 램 8GB 아이폰에 온디바이스로 뭘 하시겠다구요??
Gemma 3 기준으로 4b QAT = 3.71GB는 되어야 아 얘가 뭘 좀 하는구나.. 하는데 말입니다.
50TOPS(*M4는 38TOPS)NPU 달린 노트북 질렀는데...
성능 기대되기 시작했습니다. 우후훗!
댓글 (8)
-
순순후추
25.04.28 · 223.♡.45.169
씽크패드 언제 와요??? - D
DINKIssTyle
→ 순후추 작성자 25.04.28 · 61.♡.73.102
2주 걸린다고 써있었습니다. ㅋㅋㅋ -
기기적
25.04.28 · 211.♡.43.130
정치인 이름도 맞추나요? - D
DINKIssTyle
→ 기적 작성자 25.04.28 · 61.♡.73.102
네 맞춥니당! -
구구름따라
25.04.28 · 118.♡.94.212
마소에서 1.5? bit모델을 공개한 것으로 알아요.
조만간 소형화 메모리 최적화를 통해 온디바이스 형태로 나올 것 같습니다. - D
DINKIssTyle
→ 구름따라 작성자 25.04.28 · 118.♡.11.59
개인적으로는 15억은 실사용에 무리 같고..
최소 120억 파라미타 이상은 있어야 할 거 같습니다. 정말 챗지피티4 발끝이라도 따라가려면 27b 젬마가 훌륭하고요. - R
rustacean
→ DINKIssTyle 25.04.28 · 1.♡.174.123
1.5B 모델이 아니라 파라미터당 1.58비트로 양자화한 모델입니다. 가중치가 -1, 0, 1로 3가지만 존재하는거죠. 지금 공개한건 2B모델인데 통상적인 1B 모델이랑 비슷한 성능이라고 합니다. - D
DINKIssTyle
→ rustacean 작성자 25.04.28 · 61.♡.73.102
오... 설치해봐야겠네요.
댓글을 작성하려면 이 필요합니다.