딥시크-R1 671b 파라메터 풀버전의 용량은 대략 650GB일 것입니다. 

이것을 돌리려면 모델 전체를 RAM에 로딩해야 합니다.

CPU든, GPU든, 모델 전체를 RAM에 올리지 못하면 실행을 시킬 수 없지요. 

이것을 CPU로 돌리면 속도가 얼마나 나오는지 알고 싶었는데요. 

외국의 테크 유투버가 이것을 실제로 해본 후에 영상으로 정리를 해주었습니다. 

시스템 환경은 대략 다음과 같습니다. 

SYSTEM : Dell R930 Server 

CPU : Xeon E7-8890V4 (24코어 48스레드) x 4 

RAM : DDR4 16GB x 96 = 1,536GB 

네, R930 Server는 절대로 가정용/사무용 환경에서 쓸 수 있는 시스템이 아니며, 근접해서 작업을 할 경우 산업용 귀덮개가 필요합니다. 

(그렇지 않으면 귀가 먹습니다;;; 영원히요;;;) 

이러한 시스템에서 딥시크-R1 671b를 메모리에 로드하고 CPU로 작동시키면 대략 다음과 같은 토큰 생성 속도가 나옵니다. 

- 간단한 짧은 인사(hello) : 1.3token / 초 

- Flappy Bird code 생성하기 : 0.61token / 초 -> 대략 한 시간 소요 

- 윤리적인 딜레마를 판정하기 : 0.35token / 초 -> 대략 한 시간 이상 소요 

이것을 볼 때... 

1) 1TB 이상의 무지막지한 용량의 RAM이 장착된 서버급 시스템이 있다면 딥시크-R1 685b 모델을 실행할 수는 있다.

2) 그러나 동작 속도가 무지막지하게 느리다. chain of thought를 출력하는 시간까지 감안한다면 한 번의 질문에 답변을 받을 때까지 한 시간에서 두 시간 가까이 걸릴 수 있다. 

결국... 풀버전을 CPU로 돌리는 것은 가능은 하지만, 실용성은 거의 빵점이라는 것을 알 수 있습니다. 

예상 가능한 결과이지만, 실제로 실험한 것을 보니... LLM은 절대로 CPU로 돌리지 말아야 되겠다... 라는 확신이 듭니다;;;