Ollama 를 이용해서 로컬 환경 + CPU 연산으로 딥시크 R1을 실행해보았습니다. 

물론, 웹에서 쓸 수 있는 685b 파라메터를 가진 풀버전 모델을 사용한 것은 아니고요. 

그보다 더 작은 모델을 구동해보았습니다.  

(참고로, 685b 파라메터 모델은 682GB의 메모리가 필요합니다;;; 이걸 GPU로 돌리려면... 아윽;;;) 

양자화 처리가 된 1.5b, 7b 모델은 한국어로는 전혀 똑똑한 반응을 보여주지 못했고요. 

(영어가 아니면 질문 자체를 이해하지 못하는 수준;;;)

8b 모델은 한국어를 다소 알아듣지만, 한국어 출력을 제대로 해주지는 못했습니다. 

본격적으로 쓸만한 모델은 14b 모델이고요. 생각보다 똑똑한 반응을 보여줍니다. 

먼저 집에 있는 컴퓨터에서 Ollama를 이용해서 딥시크 r1의 14b 모델을 로딩합니다. 

모델이 로딩되었습니다. nvidia 그래픽카드가 없는 컴이어서 cpu모드로 작동됩니다. 대화가 길어지면 출력 속도가 기하급수적으로 저하됩니다만, 한 세션에 서너번의 대화 정도라면 인내심을 가지고 사용할 수준은 됩니다. 

아, CPU는 Intel i5-12400f이며 6코어 12스레드로 작동됩니다. 

처음에는 영어로 hello 라고 물으니, 스스로 chain of thought(cot)를 건너뛰고 인사말을 출력하는 것을 볼 수 있습니다. 모델 스스로 cot가 필요한 상황과 그렇지 못하는 상황을 구분할 줄 아는 것 같습니다. (신기!) 

다음으로는 한국어로 "도움이 필요하다" 라는 말을 입력했고, cot가 동작하면서 user의 대화 의도를 스스로 분석하는 절차가 실행되는 것을 알 수 있습니다. 

이정도면 예전에 ChatGPT-3.5 버전이 처음 나왔을 때보다 비슷하거나 조금 더 자연스러운 출력이라고 생각됩니다. 

그래서 이제 어떤 것을 물을까 고민을 해봤는데요. 역시나, 수리적인 problem set에 대한 점수가 높다고 하니... 수리적인 개념을 하나 물어보았습니다. 

그레이엄 수가 무엇이고, 이것이 무한대와 어떻게 다른지 질문해보았습니다. 

이 질문에 14b 모델은 cot를 이용하여 질문에 어떻게 답해야 하는지, 그리고 어떤 점을 강조해야 되는지를 매우 구조적이고 논리정연하게 나열하였습니다. 

딥시크 14b 모델은 질문을 제대로 파악하고,

질문에 맞는 답변을 도출하기 위해 출력 내용의 순서를 정렬하고,

cot로 구성한 것을 최종적인 답변으로 출력해주었습니다. O..O) 

여기서 생각해볼 수 있는 것은...

1) 딥시크는 영어를 기준으로 cot를 수행합니다. -> 추론의 기본 구조는 영어에 기반하고 있습니다. 

2) 1.5b, 7b, 8b 모델은 영어 입력이 아니면 바보같이 반응하는데, 14b 모델부터 (별도의 튜닝 작업 없이도) 매우 자연스러운 한국어 출력을 해줍니다. 아마도, 다국어 환경에서는 14b 모델부터 의미있는 성능이 나올 것 같습니다. 

3) 한 번의 세션에서 대화의 횟수를 서너 차례로 억제한다면, CPU모드에서도 실사용할 수 있는 출력을 해줍니다. 

뭐랄까... chatgpt 이후에 llm의 발전이 매우 압죽적으로 이루어지고 있는데요. 

성능이 낮은 IoT 기기... 에어콘, 스타일러, 로봇청소기가 local 환경에서 앵무새마냥 재잘대며 집주인에게 "이제 왔어?" 라고 인사하고 농담을 던지는 것이 얼마 안남은 것 같습니다. O..O)