LLAMA-4 17B는 맥미니M4 64GB에도 어림없군요
D
DINKIssTyle (61.♡.73.102)
2025년 4월 8일 AM 09:07 · 수정됨(09:38)
조회 937 공감 0


MoE architecture with 17B activated params, 109B total...
입니다... 그런데 설치 된다 한들 한국말을 못하는 모델이구만요. {emo:DINKIssTyle-3d-ang-031.webp:100}
댓글 (4)
-
순순후추
25.04.08 · 121.♡.177.89
{emo:DINKIssTyle-3d-ang-022.webp:100} -
어어머
25.04.08 · 172.♡.58.35
17B이 활성화된 파라메타 갯수고 모델은 그냥 109B라 109B가 들어가는 vram이 있어야합니다
하지만 답변 속도는 109B정도로 느린게 아니라 17B정도로 빠르죠 -
DDINKIssTyle
→ 어머 작성자
25.04.08 · 61.♡.73.102
그러게 말입니다. MoE(Mixture of Experts) 가 뭔줄 몰라서 찾아봤네요 ㅠㅠ 109B total -
어어머
→ DINKIssTyle
25.04.08 · 132.♡.75.114
아마 80GB정도가 최소고 128은되어야 돌거에요
제 맥스튜디오가 96인데 오늘 안그래도 해보려구요
댓글을 작성하려면 이 필요합니다.