* TechCrunch 기사

OpenAI’s new reasoning AI models hallucinate more

https://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/

# 내용 일부 Gemini 2.5 Flash 번역 (제목은 직관성을 위해 수정했습니다)

OpenAI에서 최근 출시한 o3와 o4-mini AI 모델은 여러 면에서 최첨단 기술을 자랑합니다.

하지만 새 모델들도 여전히 사실이 아닌 내용을 지어내는 환각(hallucinate) 현상을 보이고,

심지어 OpenAI가 만들었던 이전 모델들보다 더 자주 환각 현상을 일으킵니다.

환각 현상은 AI 분야에서 가장 크고 해결하기 어려운 문제 중 하나로,

현재 최고 성능을 자랑하는 시스템에도 영향이 있습니다.

역사적으로 새로운 모델이 나올 때마다 환각 현상이 이전 모델보다 줄어들면서 이 부분이 조금씩 개선되고는 있습니다.

그러나 o3나 o4-mini 모델에서는 그렇지 않은 것 같습니다.

OpenAI 자체 테스트 결과에 따르면,

이른바 추론 모델로 불리는 o3와 o4-mini는

OpenAI의 이전 추론 모델(o1, o1-mini, o3-mini)은 물론,

GPT-4o와 같은 전통적인 '비추론' 모델보다 환각 현상 발생 빈도가 더 높았습니다.

아마 더 걱정스러운 부분은 이런 현상이 발생하는 이유를

개발사 측에서도 정확히 알지 못한다는 점입니다.

o3와 o4-mini 기술 보고서에서 OpenAI에서는 추론 모델 스케일을 키울수록

환각 현상이 심해지는 이유를 파악하기 위해 "추가적인 연구가 필요하다"고 언급하고 있습니다.

o3와 o4-mini는 코딩 및 수학 관련 작업을 포함한 특정 영역에서는 더 나은 성능을 보입니다.

하지만 보고서에 따르면, 이 모델들은 "전반적으로 더 많은 주장을 만들어내므로",

종종 "더 정확한 주장뿐만 아니라 더 부정확하거나 환각에 의한 주장 또한 더 많이 하게" 됩니다.

OpenAI 조사 결과, 사람에 대한 모델 지식 정확도를 측정하는

자체 벤치마크인 PersonQA에서 o3는 질문의 33%에 대해 환각을 일으킨 것으로 나타났습니다.

이 수치는 OpenAI의 이전 추론 모델인 o1(16%)이나  o3-mini(14.8%)와 비교했을 때 거의 2배에 해당합니다.

o4-mini는 PersonQA에서 더욱 심각한 결과를 보이며 48%의 확률로 환각 현상을 보였습니다.

[나머지 내용 생략]

* 기사에서 참고한 시스템 카드 링크와 관련 내용입니다.

https://openai.com/index/o3-o4-mini-system-card/