DINKIssTyle (61.♡.73.102)
2026년 4월 17일 PM 02:08
35B는 모델의 전체 파라미터(매개변수) 수가 350억 개 라는 의미입니다.
A3B는 실제로 활성화되는(Active) 파라미터 수가 30억 개 라는 의미입니다.
즉 라우트모델+3B 만큼의 VRAM을 씁니다. GPU 모델레이어를 늘려서 GPU를 더 쓰게 할수도 있고요.
그래서 VRAM에 모델 전부를 올리지 않고, 시스템 RAM에 올리기 때문에..
VRAM이 적어도 시스템 메모리가 많으면 돌리는데 무리가 없습니다.
뭐가 어찌되었든 VRAM+RAM이 합쳐서 35B(약 20GB 초반) 올라갈 공간은 있어야 합니다.
여기서 RAM대신 VRAM+SSD(플래쉬메모리) 를 쓰겠다는 것이 LLM in the Flash 기술입니다.
왜냐하면 애플이나 내장그래픽, 스마트폰의 경우 VRAM이 공유메모리라 VRAM+RAM을 쓸수 없으니깐요~
그래도 토큰 속도는 GPU 연산력이 좌우합니다~
아~ 그럼 아무것도 안붙은 30B 이런 모델이랑 차이는 무엇이냐면,
얘들은 Dense 모델입니다. 덴즈 모델은 뭔가 요청이 있으면 모델안에 모든 지식을 다 사용하는 것입니다.
현시점*에서 일반적으로 MoE(앞서 설명한 액티브 숫자 B)보다 훨씬 품질이 좋아요.
*하루 다르게 기술이 발전해서 말입니다. ㄷㄷ
댓글 (9)
- 네
네뚜
04.17 · 112.♡.72.58
- D
DINKIssTyle
→ 네뚜 작성자 04.17 · 61.♡.73.102
예상값이긴 하지만 젬마4 26B A3B 4096 에서 토탈 18GB쯤,
262144로 하면 35.5GB 쯤이네요.
-
남남극백곰
04.17 · 223.♡.79.250
과거에48긱짜리 모델을 산 제가 쫌만 돈을 더 써서 64긱으로 갔으면 좋았을거 같다라는 생각을 마구 하고 있슴미다 48긱 넘 애메해요
-
쟘쟘스
04.17 · 14.♡.134.130
항상궁금했던건데 알려주셔서 감사합니다.
LLM in a flash만 기다려야겠네요 😂
썩다리 놀고 있는 128기가 ssd끼우고 그거로 쓸 수 있었으면 좋겠어요.
놀고있는 256기가 ssd도 있고요.
죄다 sata3 이기는 하지만 그래도 쓸 수 만 있었으면 좋겠습니다.
- R
rustacean
→ 쟘스 04.17 · 59.♡.65.234
지금도 돌아는 갑니다. SSD 속도문제로 진짜 돌아만 간다 수준이라서 그렇죠. 옛날 SSD를 그런식으로 활용하는 날은 아마 오지 않을것 같습니다 ㅠㅠ
- 쟘
쟘스
→ rustacean 04.17 · 223.♡.80.26
아.. 그렇군요 😭 램을 더 큰 걸 살 걸 그랬어요...
-
PPigKing
04.17 · 211.♡.203.177
Q3_K_M 쓰시면 17GB(262,144) 정도 사용합니다.
지포스 3090(Ti), 4090, 5090이면 무난합니다.
물론 본문처럼 Q4_K_M이면 오프로딩 발생해서 느려질 겁니다.
- D
DINKIssTyle
→ PigKing 작성자 04.17 · 61.♡.73.102
품질 차이가 많이 나지 않습니까? 생성형 이미지를 작년말에 열심히 하면서 탐구할때..
시각적으로도 Q4 K 아래로 내려가면 생성 이미지 품질이 확 떨어졌었기에..
저에게 LLM의 최소 기준은 Q4 K 가 되었습니다.
- P
PigKing
→ DINKIssTyle 04.17 · 211.♡.203.177
말씀하신게 맞죠. 지포스 90계열 쓰실 분은 최소 그래픽카드 2장 올려야 사용할 수 있습니다.
집 PC가 지포스 3090Ti + 64GB 메모리 쓰는데, 나머지는 맥북프로 M5 Max 메모리 128GB로 보완하려 합니다.
댓글을 작성하려면 이 필요합니다.
256K 컨텍스트 사용하려면 GPU 메모리가 어느정도 필요할까요?