최신 LM Studio, MoE 가중치를 CPU에 적용
D
DINKIssTyle (14.♡.7.140)
2025년 8월 21일 PM 10:15 · 수정됨(23:17)
조회 1,180 공감 0
스샷 설명이 충분해서 제가 부연 설명할 부분이 없네요 ㅎㅎ
MoE LLM 모델중 크기가 커서 VRAM에 다 못 올릴 경우 MoE 가중치를 시스템 램에 올리는 옵션입니다.
당연하게 VRAM에 다 올릴 수 있을경우 사용이 필요치 않은 옵션이에요.
최근 인기중인 gpt-oss 가 이에 해당합니다.
20B에서 옵션을 켜고 올리면 VRAM이 3.5GB (윈도우 시스템 포함요) 쯤 잡히는 듯 합니다.
옵션 없이 올리면 윈도우 및 시스템 포함 7.3GB 찍히네요
대신에 시스템 메모리가 충분하셔야 합니다!
댓글 (4)
- 크
크루소닉
25.08.21 · 180.♡.6.137
속도 차이가 어떻게 될지 궁금하네요 - D
DINKIssTyle
→ 크루소닉 작성자 25.08.21 · 118.♡.12.157
저도 속도 차이가 날까 궁금했는데 1토큰 엎치락 뒤치락이네요. 20B에 8GB vram에서는 별 효과가 없는걸로 생각중입니다 - 크
크루소닉
→ DINKIssTyle 25.08.21 · 180.♡.6.137
그정도 차이밖에 안나면 vram이 좀 부족해도 모델을 돌려볼만 하겠네요 -
휘휘소
25.08.21 · 121.♡.21.222
20b ollama로 cpu 얹어서 돌려보니 한 세월입니다 ㅠㅠㅠ
바로 지웠습니다...
댓글을 작성하려면 이 필요합니다.