잡담
DeepSeek 4 Flash 를 작은 RAM 머신에서 돌리려는 시도가 있네요
S
Shue (141.♡.148.192)
2026년 7월 20일 PM 06:25 · 수정 1회(18:32)
조회 1,252 공감 0
물론 Q2 나 Q4로 압축하긴했지만 flash 모델이 돌아가는 갑니다
재미삼아 DGX SPARK에 넣어서 돌려봤는데
돌아는 간다는걸 확인하고 다시 원래 작업으로 돌아온지라 평가는 못하겠지만
재미있는 시도인거 같습니다.
https://github.com/antirez/ds4
최근 공개되는 모델들이 전부 파라미터값이 단위가 달라지는 수준인데 이런 재미난 시도들이 활성화되서
다른 대형 모델들도 돌아가도록 개선? 개발이 얼른 이루어지면 좋겠습니다.
최근 글
댓글 (3)
-
CCaTo
07.20 · 112.♡.38.222
-
우우주시민
07.20 · 125.♡.120.23
양자와 된 모델은 라스베리파이에서 돌아가는 것도 꽤 있죠 ㄷㄷㄷ 간단한 용도면 그럭저럭 쓸만한
- M
maronet
07.21 · 221.♡.149.210
전에 이거보고 한번 돌려보려다가... 모델 다운로드 받다 지칠것 같아서 안했었는데... 다시 또 땡기는 ㅋ
5090이 28토큰이면... 전 GPU 구려서 10토큰 미만 나올 것 같은...
https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepSeek-V4-Flash.md
댓글을 작성하려면 이 필요합니다.
제가 IQ3XSS 돌렸는데, 꾸역꾸역 틀린거 고치고 틀린거 고치고 해서 어떻게 결론에 가긴 하더라구요
근데 너무 느리기도하고, 그냥 MiniMax M2.7 쓰는게 나은거 같습니다