인해전술같은 병렬작업이 무섭긴 하죠

검열을 거친 중국 내 데이터도 가져다 썼는데 그게 또 보이지 않게 비용을 줄여줬다고 봅니다

V3 논문에 256개의 서버 노드에 각각 8개의 H800 GPU를 장착하여, 총 2,048개의 H800 GPU를 활용해 학습했다고 나와있습니다.
하지만 파라미터 튜닝을 위해 여러 설정으로 시도를 했다고도 함께 적혀있는데, 여러 시도를 병렬적으로 해서 추측한게 5만대로 보는거 같아요

R1은 V3의 개선판으로 지도학습이 아닌 강화학습으로 진행했는데, 이는 기존에도 쓰이는 LLM 학습 기법이었습니다.
하지만 데이터 생성도 평가도 LLM이 하여 학습하는데 V3보다 2~3배 하드웨어가 소모 되었을것 같네요.

모델을 서빙하는 것은 학습하는 것에 비해 매우 적은 리소스만 사용합니다.
학습하기 위해선 모든 파라미터의 연산을 저장하고 loss를 적용하는 데에 비해, 서빙은 모든 파라미터의 연산을 저장할 필요 없이 내뱉으면 끝이라 리소스를 매우 적게 먹습니다.
그래서, 70B 모델도 학습하는데 몇백대의 GPU가 필요하지만 실행하는데엔 맥스튜디오 192기가에서 동작이 가능하죠.

붕괴에 대해서는 우선 llm에 첫 적용된 RLHF에 대해 이야기 하겠습니다. RLHF는 다른 llm이 평가용으로 reward 모델로 만들어 평가를 진행하는데, reward model에 최적화 되는, 즉 붕괴를 막기 위해 평가와 함께 원래 정답도 활용해 문법적, 어법적 붕괴를 방지합니다. 현재는 여러한 붕괴방지 방법들이 나와 있는 상태입니다.
그리고 매 학습을 진행하면서 중간 중간 저장을 하면 붕괴 측면이든 성능 측면에든 가장 좋은 모델을 골라 상업화 및 공개 하는 것은 흔합니다. 이러하지 않은 모델은 완전 연구용 말곤 없을거에요.

제가 V3보다 2~3배 하드웨어가 소모 되었을 것이라 한 이유는 웹 데이터를 쓰든 무얼 하든 기존 모델을 학습 하는 것에 비해, 평가 모델도 함께 학습 한다 하면 2배이기 때문에, 3배보다 더 많이 들리가 없어서 그렇습니다.
저는 리소스 측면에서 말씀드린 것으로 진짜 금액적인 비용을 말씀하는 것이면 비교가 불가한게, 미국과 중국의 전기세, 클라우드 비용, openai의 모델 사용료엔 순수 하드웨어 비용이 아닌 이익 및 네트워킹 비용 등 많은 것을 함께 고려해야 하기에 그건 같은 선상에서 두고 비교하기 힘듭니다.

밑에 댓글에 답글이 안뜨네요..

보통 technical report를 할땐 공개한 최종 모델의 학습 리소스만 공개하는게 흔하고, OpenAI 이후 이를 공개하지 않는 애들도 수두룩 합니다. 이에 대해선 OpenAI가 안좋은 습관을 만든 수준이에요...
technical report에선 B100이나 H100과 같이 진짜 비싼게 아닌걸로도 된다는 한마디 수준으로 작성했는데, 이게 "B100이나 H100 제제가 의미없다!!!"+ 'OpenAI보다 매우 저렴한 자체 서비스 비용'으로 언론에서 엄청 띄워준게 문제라고 봅니다.
그리고 벤치마크 성능은 요즘 오차 매우 범위를 크게 잡고 봐야하는게, 실제로 써보면 벤치마크에 나온 비슷한 모델의 성능보다 못한 경우가 많아요. 그래서 저는 일종의 절대 등급을 두고 봅니다.

딥시크가 업계에서 난리인 이유는 사실 아래 3가지 입니다.
1. 미국이 아닌 gpu 제제를 받고 있는 중국
2. 좀 정치적이나 그러한 정보에서 '중국'하긴 하지만 GPT-o1과 같은 비공개 모델과 매우 유사한 추론 성능
3. 그걸 MIT 라이센스로 공개

업계가 아닌 시장에서 난리인건 노이즈 마케팅도 섞였다고 봐요.