https://www.youtube.com/watch?v=sxye9Ul7ppI

0. 동원된 맥은 맥 스튜디오(M2 Ultra) 192GB 2대, 128GB(M2 Ultra) 1대, 맥 미니(M4 Pro) 48GB 1대이며, 필요에 따라 맥북프로(M2 MAX) 48GB를 연결했습니다.

1. 딥시크 R1 로컬 설치 모델은 온라인이 끊겨도, 작동하고 개인정보를 가져가지 않습니다 : 최근 한국에서 접속이 중단된 딥시크 AI '서비스'와는 다릅니다!

2. 설명에서 빠졌지만 딥시크 R1 모델은 여러가지가 있습니다. chatGPT o1급과 동일한 성능을 가졌다고 평가받는 R1 모델과, 다른 회사에서 만든 오픈소스 AI 모델이지만, R1의 지식과 추론방식을 적용해 더 똘똘하게 학습시킨 '증류=Distill Model'이 존재합니다. 이런 모델은 R1(distill) 개발사_AI모델 순으로 이름이 붙어있는 경우가 많습니다. 예를들어 R1(distill)_Meta_LLama2 7B와 같은 이름이 붙죠

3. 맥에서 R1모델을 돌리면 초기 생성속도 = 초기 답변속도가 생각보다 느립니다. 수십초에서 1분 이상이 소모됩니다. 하지만 일단 답변을 시작하면 답변을 내뱉는 속도(토큰 생성 속도)는 나쁘지 않은 편입니다. 192GB 기준 R1 1.58bit 양자화 모델의 경우 숫자가 기억나지 않는데, 생각보다 '원활하게' 돌아갑니다.

4. 맥 클러스터링은 exoLabs의 프로그램을 활용했습니다.

5. 다만 맥을 묶어서 클러스터링 컴퓨팅을 시도할 경우 '심각할 정도'로 오류가 많이 발생합니다. 일단 연결이 너무 어렵고요(저희 조연출이 설치와 연결에만 꼬박 일주일을 소요했습니다) 연결된 뒤에도 갖은 오류를 내뿜습니다. 그래도 맥(스튜디오)를 3~4대만 합쳐두면 400~500GB에 달하는 거대한 통합 메모리를 구동할 수 있게 됩니다.

6. 클러스터링 이후 R1 3bit를 실행하면 토큰 생성속도가 초당 10토큰 정도가 출력됩니다. 한글의 경우 깨짐 현상이 발생하고, 영어의 경우 완벽에 가까운 답변을 해 줍니다.

7. 썸네일의 1989년 5월 35일은 오타가 아닙니다. 천안문 사건이 일어났던 '6월 4일'을 가리키는 은어라고 합니다

----

라고 합니다.

오.. 요즘도 맥 클러스터링 방법(서드파티)이 있네요.

옛날에는 애플에서 직접 XGrid 라는게 있었는데 언젠가 사라졌군요;;

단종되지 않았으면 지금은 선볼 덕에 편하고 성능 끝내줬겠습니다. ㄷㄷ

방송국에서 it 기술 개발부서가 전문적일 거라고 생각 못했는데..

전문적인듯 보여 신기하군요.

여하튼 재미있는 내용이네요.