* 공식 블로그

Open-sourcing R1 1776

https://www.perplexity.ai/hub/blog/open-sourcing-r1-1776

# 내용 일부 Claude 3.5 Sonnet 번역 후 수정

* 1776년은 미국 독립선언 해

모델 가중치는 허깅페이스에서 받을 수 있습니다.

(단, 원본 R1처럼 개인용 컴퓨터에서 실행하는 것은 어렵습니다)

DeepSeek-R1은 가중치(weight)가 완전히 공개된 대규모 언어 모델(LLM)로, o1과 o3-mini와 같은 최신 추론 모델에 근접한 성능을 보여줍니다. 하지만 R1의 활용성을 제한하는 큰 문제는 중국 공산당(CCP)이 검열하는 대상을 포함한 민감한 주제에 대한 답변을 거부한다는 것입니다.

후처리 학습 단계에서 저희가 중국에서 검열하는 주제와 관련된 양질의 데이터를 수집하는 데 중점을 두었습니다. 질문과 사실적인 답변을 모두 수집하는 작업이 여기에 포함되었습니다.

양질의 데이터셋 수집을 위해 다음과 같은 접근 방식을 사용했습니다:

- 전문가들을 고용하여 중국 공산당이 검열하는 것으로 알려진 약 300개 주제를 식별했습니다.

- 이런 주제들을 바탕으로 다국어 검열 분류 시스템을 개발했습니다.

- 그런 다음 분류기(classifier)가 높은 확률로 감지하는 다양한 사용자 프롬프트를 수집했습니다. 학습 목적으로 명시적 동의를 받은 질문만 포함했으며, 개인식별정보(PII)가 포함된 질문은 제외했습니다.

- 이 과정을 통해 4만 개의 다국어 프롬프트로 이루어진 데이터셋을 구축했습니다.

큰 어려움 중 하나는 검열된 프롬프트에 대한 사실에 근거한 답변을 수집하는 것이었습니다. 데이터에 유효한 사고 과정의 추론 단계를 포함해야 했기 때문에 특히 어려움이 컸습니다. 프롬프트에 대해 다양하고 수준 높은 답변을 수집하기 위해 다양한 방법을 시도했습니다.

이후 엔비디아(NVIDIA) NeMo 2.0 프레임워크를 변형한 버전을 사용해 검열 데이터셋으로 R1의 후처리 학습을 수행했습니다. 학술 벤치마크와 자체 품질 벤치마크 모두 높은 성능을 유지하면서도 효과적으로 모델 안 검열을 제거할 수 있도록 학습 과정을 세심하게 설계했습니다.

검열 해제 절차 이후에도 모델의 수학적 능력과 추론 능력이 손상되지 않도록 각별히 신경 썼습니다. 다수의 벤치마크 테스트에서 후처리 학습된 모델이 기본 R1 모델과 동일한 수준의 성능을 보여, 검열 해제가 모델의 핵심 추론 능력에 아무런 영향도 미치지 않았음을 확인할 수 있었습니다.

▼ 모델별 중국 검열 비율 그래프

▼ 성능 벤치마크