https://www.reddit.com/r/LocalLLaMA/comments/1ibbloy/158bit_deepseek_r1_131gb_dynamic_gguf/

​DeepSeek R1 671B​ 모델도 로컬에서 돌릴수 있는 방법이 reddit 에 올라 왔네요.

  rtx 4090을 살수 있는 찬스 인것 같습니다. 

chatgpt: 와이프에서 4090 을 획득할수 있는전략은 무엇일까요?

1."현실은 곧 메타버스야" 전략

​

"여보, DeepSeek 돌리려면 그래픽 카드가 필요한데, 이건 단순 장비가 아니야. 중요한 건, 그게 우리의 삶에 혁신을 가져올 수 있다는 거야. 예를 들어, 내가 밤새 Flappy Bird를 AI로 만들어서 보내줄게. 진짜 디지털 사랑의 증표라고 생각해줘!"

2."저렴한 취미" 전략

"여보, 알고 보니 내가 진짜 비싸고 위험한 취미를 깨달았어. 나 비싼 바이크, 요트, 골프 대신에 그냥 DeepSeek 돌려보는 게 평화롭고 쓸모 있더라고. 어떻게 보면, 내가 이 정도면 착한 남편 아닐까?"

3."미래를 위한 투자" 전략

"여보, 그래픽 카드는 비싼 게 아니라, 우리 미래의 신선한 공기 같은 거야. 무슨 말이냐면… 내가 딥러닝 전문가가 되면, 집에서 문제로 푼 수학문제가 AI로 답변되니까, 우리 아이가 공부도 쉬워지고, 가정의 평화도 찾아오고…. 앗, 나 여기서 말을 멈춰야겠다! 느껴지지 않아?"

4."게임에서 가족으로 향한 길" 전략

"이 그래픽 카드로 Flappy Bird를 만들면 우리 다 같이 오락하면서 시간을 보낼 수 있잖아. 이제 ‘플레이어 1’, ‘플레이어 2’ 대신, ‘남편’과 ‘아내’라는 진짜 승리 팀을 만들고 싶다고!"

5."덜 비싼 방식으로 뻗어나가기" 전략

"여보, 내가 게임콘솔 사달라는 것도 아니고, 전기차 사달라는 것도 아니잖아. 오직 그래픽 카드 하나로 세상을 좀 더 재밌게 바라보려는 거야. 결국 이건 나의 야망이 아니라, 우리의 새로운 취미라고 생각해줘!"

6."AI를 와이프를 위해 일하게 만드는 논리" 전략

"여보, 이걸 돌려서 AI로 간단한 집안일 도우미라도 만들면 어떨까? 예를 들어, AI가 오늘 저녁에 뭘 먹을지 고민도 대신 해준다거나, 설거지 후 배수구 냄새 제거법도 찾아준다거나! 그니까, 이건 사실 나보다 당신을 위한 도구 같아!"

7."가볍게 상황 드립"

"지금이야말로 플레이스테이션, 게이밍 노트북 대신, 교육과 배움이라는 명분 때문에 GPU를 사야 할 순간 같아... 당신부터 시작해서 내 인생 최고의 허가권자의 승인을 간곡히 기다립니다!"

• DeepSeek R1 671B MoE 모델을 동적으로 1.58비트 GGUF 포맷으로 양자화.
• 전 층을 동일한 비트로 양자화하지 않고, 다음과 같은 방식으로 선택적 비트로 처리가 이루어짐:
  • MoE 레이어: 모델에서 88%의 공간을 차지하는 부분을1.5비트로 최적화.
  • Attention 및 Dense 레이어: 중요도가 높은 부분은4~6비트로 유지.
• 이렇게 최적화함으로써 모델 전체적으로가중 평균 비트 수 1.58비트를 달성.

https://www.reddit.com/r/unsloth/comments/1ibcoqb/introducing_158bit_dynamic_deepseekr1_ggufs/