요즘 출시된 로컬 LLM(DeepSeek-R1, Llama 3 계열 등)이 수학을 잘하게 된 것은 단순히 컴퓨터가 빨라졌거나 런타임(소프트웨어 구동 환경)이 좋아진 덕분이 아닙니다.

핵심은 LLM이 문제를 푸는 '방식'과 이를 가르치는 '학습 기법'의 근본적인 변화에 있습니다. 주요 원리를 세 가지로 요약해 드립니다.

1. 사고의 과정: Chain-of-Thought (CoT)

과거의 모델은 "1+1은?"이라는 질문에 바로 "2"라고 답을 예측하려고 했습니다. 하지만 복잡한 수학 문제는 한 번에 정답을 맞히기 어렵습니다.

• 원리: 최신 모델들은 정답을 내놓기 전에 내부적으로 단계별 추론 과정을 먼저 생성합니다.

• 비유: 암산으로 바로 답을 내는 것이 아니라, 연습장에 풀이 과정을 적어가며 문제를 푸는 것과 같습니다. 이 과정을 통해 모델은 복잡한 문제를 작은 단위로 쪼개어 계산 오류를 획기적으로 줄였습니다.

2. 학습 기법의 진화: 강화 학습 (RL)

DeepSeek-R1 같은 모델이 보여준 혁신은 강화 학습(Reinforcement Learning)의 도입입니다.

• 보상 시스템: 모델이 수학 문제를 풀었을 때, 결과가 정답이면 '보상'을 주고 오답이면 '벌점'을 줍니다.

• 자기 반성(Self-Reflection): 모델은 보상을 더 많이 받기 위해 스스로 풀이 과정을 검토하고, 오류를 수정하며, 더 효율적인 논리 전개 방식을 독학하듯 깨우칩니다. 사람이 일일이 풀이 과정을 가르치지 않아도 모델이 '어떻게 생각해야 정답에 가까워지는지'를 스스로 학습하게 된 것입니다.

3. 데이터의 질과 구조: SFT와 합성 데이터

학습에 사용되는 데이터 자체가 이전보다 훨씬 정교해졌습니다.

• 고품질 수학 데이터: 단순히 텍스트만 읽히는 것이 아니라, 수만 개의 정교한 수학 풀이 과정(Step-by-step solutions)이 포함된 데이터를 집중적으로 학습합니다.

• 프로그래밍과의 결합: 수학적 논리는 코딩 논리와 매우 흡사합니다. 최신 로컬 모델들은 방대한 양의 코드 데이터를 학습하며 논리적 일관성을 키웠고, 필요한 경우 내부적으로 파이썬 코드를 짜서 계산기처럼 실행해 결과를 가져오기도 합니다.

요약하자면

결국 "더 똑똑하게 생각하는 법"을 스스로 익힐 수 있는 알고리즘(강화 학습)이 적용된 것이 가장 큰 변화라고 볼 수 있습니다. 덕분에 Mac mini M4 Pro 같은 로컬 환경에서도 이전의 거대 클라우드 모델 못지않은 수학 실력을 보여주게 된 것이죠.

DeepSeek-R1 같은 모델이 보여준 혁신은 강화 학습(Reinforcement Learning)의 도입입니다.

보상 시스템: 모델이 수학 문제를 풀었을 때, 결과가 정답이면 '보상'을 주고 오답이면 '벌점'을 줍니다.

자기 반성(Self-Reflection): 모델은 보상을 더 많이 받기 위해 스스로 풀이 과정을 검토하고, 오류를 수정하며, 더 효율적인 논리 전개 방식을 독학하듯 깨우칩니다. 사람이 일일이 풀이 과정을 가르치지 않아도 모델이 '어떻게 생각해야 정답에 가까워지는지'를 스스로 학습하게 된 것입니다.

ㄷㄷ 수학 공부를 빡쌔게 하고 나왔기 때문입니다.

벌점제도에 자기 반성이라니!!

여하튼 요즘 신기합니다. 웬만해서는 계산을 합니다.

이 정도는 하나씩 꼽으면 맞는다고 치고..

아래는 구글이 교육방송에서 뽑아준 수능 문제입니다.

오올~ 뭔 외계어도 계산해서 맞추네요.