LLAMA-4 17B는 맥미니M4 64GB에도 어림없군요
DINKIssTyle

Lv.1 DINKIssTyle (61.♡.73.102)

2025년 4월 8일 AM 09:07 · 수정됨(09:38)

조회 937 공감 0



MoE architecture with 17B activated params, 109B total...

입니다... 그런데 설치 된다 한들 한국말을 못하는 모델이구만요. {emo:DINKIssTyle-3d-ang-031.webp:100}



댓글 (4)

  • 순후추

    순후추 Lv.1

    25.04.08 · 121.♡.177.89

    {emo:DINKIssTyle-3d-ang-022.webp:100}
  • 어머

    어머 Lv.1

    25.04.08 · 172.♡.58.35

    17B이 활성화된 파라메타 갯수고 모델은 그냥 109B라 109B가 들어가는 vram이 있어야합니다

    하지만 답변 속도는 109B정도로 느린게 아니라 17B정도로 빠르죠
  • DINKIssTyle

    DINKIssTyle Lv.1 → 어머 작성자

    25.04.08 · 61.♡.73.102

    그러게 말입니다. MoE(Mixture of Experts) 가 뭔줄 몰라서 찾아봤네요 ㅠㅠ 109B total
  • 어머

    어머 Lv.1 → DINKIssTyle

    25.04.08 · 132.♡.75.114

    아마 80GB정도가 최소고 128은되어야 돌거에요

    제 맥스튜디오가 96인데 오늘 안그래도 해보려구요

댓글을 작성하려면 이 필요합니다.