[LLM] LG Exaone-Deep:32B 사용소감
D
Dymaxion (211.♡.249.184)
2025년 3월 18일 PM 10:15 · 수정됨(23:43)
조회 955 공감 0
오늘 LG에서 엑사원-딥 이라고 추론모델이 새로 발표되었는데
QWQ:32B와 비슷하고, 딥시크:671B와 동등하거나 더 낫다는거죠.
암튼 설치해서 몇 마디 말을 섞어 봤는데.... 결과는....
이제까지 제가 LLM을 사용하면서 만나본
가장 수다스러운 놈입니다.
뭔 말을 이리 많이 하는지 원.
댓글 (3)
-
남남녀칠세마동석
25.03.18 · 121.♡.33.70
- D
damoim
25.03.18 · 112.♡.5.195
Vram 몇 쯤 먹나요?
애플실리콘에서 돌리신걸까요? -
칼칼쓰뎅
→ damoim 25.03.18 · 119.♡.210.192
보통 32b쯤 되는 사이즈면 24GB vram에서 4비트 양자화 모델이 돌아갑니다.
3090, 4090 같은 놈들이요.
댓글을 작성하려면 이 필요합니다.
이것도 제대로 계산 못합니다. 7.8b는 계속 무한으로 생각하고만 있고, 32b도 마찬가지입니다.
너무 급하게 내놓은게 아닌가 싶습니다.