deepseek r1 풀사이즈 로컬로 돌려보신분계실까요?
플
플루 (221.♡.170.85)
2025년 2월 2일 PM 05:44 · 수정됨(02. 04. 01:06)
조회 595 공감 0
로컬로 돌려보려는데 3090 + 128g 메모리 로 얼마정도의 속도가 나오는지 가늠이 안되서요.
reddit 쪽 말로는 1-2 token/sec 정도 이야기하는데,
이게 실사용에는 좀 느릴것 같기도하고
4090 사기에는 비용이 지출이 너무큽니다.
차라리 좀 기다려서 nvidia digit 을 구매할까 싶기도 하고요.
갈팡질팡 하네요.
선구자분있으시면 경험담을 듣고 싶습니다.
댓글 (3)
-
코코미
25.02.02 · 172.♡.52.226
-
로로얄가드
25.02.03 · 220.♡.71.208
일반적으로 8B 라고 하면 해당 숫자의 3배의 기가 메모리가 필요합니다.
즉 8B는 24기가 램의 그레픽 카드가 필요하죠 뭐 양자화니 뭐니 해서 사이즈 줄이는 기술은 늘어났지만 말이죠
딥시크 R1의 최상급은
70B나 (210 기가)
671B인데 (2000기가) 라서
PC에서 돌리는 대상이 아닙니다. -
칼칼쓰뎅
25.02.04 · 119.♡.210.192
딥싴 홈피에서 돌리는 속도가 20tps 정도 될겁니다. 저거 이하면...굉장히 답답해집니다 ㅎㅎ
amd에픽에다가 512GB램 달아서 r1돌리면 3-4tps 정도 나온다고 합니다.
현재 일반 사용자가 local llm 사용시에 가장 만만한게 3090 듀얼구성입니다.
3090 중고가가 80만원대니까요.
4090은 게임하는거 아니면 별 의미없고요. (전 그래서 4090+3090사용중...)
그냥 이것저것 돌려보는 재미로 사용중이긴합니다만 (qwen 2.5 coder 32b 나 r1 distill 32b 정도)
좀 제대로 된 사용은 역시, google ai studio나 에이닷 등으로 상용 ai 서비스 사용하는게 좋습니다 ㅋ
댓글을 작성하려면 이 필요합니다.
맥 스튜디오 2개로 돌린 사례가 있습니다.
8bit를 3bit로 양자화된 모델입니다만..