DeepSeek R1 671B 을 로컬로 돌려 보겠습니다.
페이지 정보
플루
본문
DeepSeek R1 671B 모델도 로컬에서 돌릴수 있는 방법이 reddit 에 올라 왔네요.
rtx 4090을 살수 있는 찬스 인것 같습니다.
chatgpt: 와이프에서 4090 을 획득할수 있는전략은 무엇일까요?
1."현실은 곧 메타버스야" 전략
"여보, DeepSeek 돌리려면 그래픽 카드가 필요한데, 이건 단순 장비가 아니야. 중요한 건, 그게 우리의 삶에 혁신을 가져올 수 있다는 거야. 예를 들어, 내가 밤새 Flappy Bird를 AI로 만들어서 보내줄게. 진짜 디지털 사랑의 증표라고 생각해줘!"
2."저렴한 취미" 전략
"여보, 알고 보니 내가 진짜 비싸고 위험한 취미를 깨달았어. 나 비싼 바이크, 요트, 골프 대신에 그냥 DeepSeek 돌려보는 게 평화롭고 쓸모 있더라고. 어떻게 보면, 내가 이 정도면 착한 남편 아닐까?"
3."미래를 위한 투자" 전략
"여보, 그래픽 카드는 비싼 게 아니라, 우리 미래의 신선한 공기 같은 거야. 무슨 말이냐면… 내가 딥러닝 전문가가 되면, 집에서 문제로 푼 수학문제가 AI로 답변되니까, 우리 아이가 공부도 쉬워지고, 가정의 평화도 찾아오고…. 앗, 나 여기서 말을 멈춰야겠다! 느껴지지 않아?"
4."게임에서 가족으로 향한 길" 전략
"이 그래픽 카드로 Flappy Bird를 만들면 우리 다 같이 오락하면서 시간을 보낼 수 있잖아. 이제 ‘플레이어 1’, ‘플레이어 2’ 대신, ‘남편’과 ‘아내’라는 진짜 승리 팀을 만들고 싶다고!"
5."덜 비싼 방식으로 뻗어나가기" 전략
"여보, 내가 게임콘솔 사달라는 것도 아니고, 전기차 사달라는 것도 아니잖아. 오직 그래픽 카드 하나로 세상을 좀 더 재밌게 바라보려는 거야. 결국 이건 나의 야망이 아니라, 우리의 새로운 취미라고 생각해줘!"
6."AI를 와이프를 위해 일하게 만드는 논리" 전략
"여보, 이걸 돌려서 AI로 간단한 집안일 도우미라도 만들면 어떨까? 예를 들어, AI가 오늘 저녁에 뭘 먹을지 고민도 대신 해준다거나, 설거지 후 배수구 냄새 제거법도 찾아준다거나! 그니까, 이건 사실 나보다 당신을 위한 도구 같아!"
7."가볍게 상황 드립"
"지금이야말로 플레이스테이션, 게이밍 노트북 대신, 교육과 배움이라는 명분 때문에 GPU를 사야 할 순간 같아... 당신부터 시작해서 내 인생 최고의 허가권자의 승인을 간곡히 기다립니다!"
- DeepSeek R1 671B MoE 모델을 동적으로 1.58비트 GGUF 포맷으로 양자화.
- 전 층을 동일한 비트로 양자화하지 않고, 다음과 같은 방식으로 선택적 비트로 처리가 이루어짐:
- MoE 레이어: 모델에서 88%의 공간을 차지하는 부분을1.5비트로 최적화.
- Attention 및 Dense 레이어: 중요도가 높은 부분은4~6비트로 유지.
- 이렇게 최적화함으로써 모델 전체적으로가중 평균 비트 수 1.58비트를 달성.
레딧 포스트 로딩중p>
Veritasian님의 댓글의 댓글
플루님의 댓글의 댓글
A 24GB GPU like RTX 4090 should be able to get at least 1 to 3 tokens / s.
대략 128(ram) + 24(vram) 하면 가능 할거 같습니다.
플루님의 댓글의 댓글
플루님의 댓글의 댓글
Veritasian님의 댓글
Veritasian
동시에..저도 집에.이참에 업그레이드 욕심을 내볼까하는.의도도 있어요.ㅎㅎ
플루님의 댓글의 댓글
이용방법은... 현재 chatgtp 나 claude ai 를 이용하실때 무슨일을 하시는지 생각해보시면됩니다.
사람 마다 다양하죠. 기획서, 제안서. 프로젝트 설계, 궁금한걸 물어 보는 용도 에서 부터...
저의 경우 프로그래밍 개발 작업하는데, 도움을 많이 받습니다.
좀 더 나아가면, api 를 이용해서 일반적인 응용프로그램에 이전에는 생각할수없었던 지능적인 기능을 추가 할수 도있습니다.
SDK님의 댓글