AI 추론의 약점을 드러낸 Apple 연구 결과

출처: 

https://www.golem.de/news/da-wird-nicht-gedacht-apple-studie-deckt-schwachstellen-bei-ki-reasoning-auf-2506-196972.html

https://machinelearning.apple.com/research/illusion-of-thinking

논문:

https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf

과학자들은 평소와는 다른 접근 방식을 취했습니다. 표준 수학 테스트에 의존하는 대신 통제된 퍼즐 환경을 개발했습니다. 이를 통해 AI 시스템이 작동하는 방식과 그 한계를 정확히 관찰할 수 있었습니다.

결과는 냉정했습니다. 테스트한 모든 모델이 특정 수준의 복잡성에서 고장이 났습니다. 동일한 문제의 간단한 변형에서는 여전히 잘 작동하지만 성공률은 0%로 떨어집니다.

연구진은 클로드 3.7 소네트, 딥시크-R1, OpenAI o3-mini와 같은 잘 알려진 AI 모델을 분석했습니다. 이 모델들은 모두 동일한 패턴을 보였는데, 작업이 복잡해질수록 성능이 저하되어 결국에는 완전히 실패했습니다.

세 가지 성능 수준 발견

Apple 팀이 확인한 세 가지 성능 영역은 특히 흥미롭습니다. 간단한 문제의 경우, '추론' 기능이 없는 기존 언어 모델은 업그레이드된 언어 모델보다 성능이 훨씬 우수하고 컴퓨팅 파워도 덜 필요했습니다.

추론 모델은 중간 정도의 복잡성에서 강점을 보였습니다. 여기서 추가적인 '사고'의 이점이 분명하게 드러났습니다. 그러나 두 가지 유형의 모델 모두 정말 어려운 작업에서는 똑같이 실패했습니다.

더욱 놀라운 또 다른 현상은 AI 시스템이 처음에는 더 복잡한 문제에 더 많은 '사고 시간'을 소비하기 시작했다는 점입니다. 하지만 붕괴 직전에는 이러한 추세가 역전되어, 작업이 더 어려워졌음에도 불구하고 모델들의 사고 시간이 줄어들었습니다.

이러한 행동은 현재의 추론 접근 방식에 근본적인 한계가 있음을 시사합니다. 이 모델들은 충분한 연산 능력을 갖추고 있었기 때문에 기술적 한계로 인한 문제가 아니었습니다.

AI 두뇌 내부 들여다보기

내부 사고 과정을 분석해보니 더욱 놀라운 사실이 발견되었습니다. 간단한 작업의 경우 AI 시스템은 종종 올바른 솔루션을 빠르게 찾았지만 여전히 대안을 계속 찾았습니다. 이런 종류의 '과도한 생각'은 불필요하게 리소스를 낭비했습니다.

적당히 어려운 문제에서는 반대로 잘못된 접근 방식으로 오랜 시간 시행착오를 겪은 후에야 올바른 해답이 나왔습니다. 특정 복잡도 한계를 넘어서면 모델은 더 이상 올바른 솔루션을 전혀 찾지 못했습니다.

연구진이 AI 시스템에 기성 알고리즘을 제시했을 때도 성능은 거의 개선되지 않았습니다. 이는 다음과 같은 사실을 보여줍니다. 이 문제는 단순히 전략을 찾는 것을 넘어 사고의 근본적인 논리적 단계에 영향을 미칩니다.

이것이 AI 개발에 어떤 의미가 있을까요?

Apple의 연구는 현재 AI 시스템의 실제 사용에 대한 중요한 질문을 제기합니다. 이러한 모델은 일부 벤치마크에서 인상적인 결과를 얻었지만, 그 기능은 예상보다 제한적인 것으로 보입니다.

특히 문제가 되는 것은 기존의 많은 테스트가 데이터 오염으로 인해 위조될 수 있다는 점입니다. AI 시스템은 학습 과정에서 이미 유사한 과제를 본 적이 있기 때문에 이를 해결할 수 있습니다.

따라서 연구자들은 새로운 평가 방법을 선호하며 과장된 기대에 대해 경고합니다. AI 추론 연구에서 실질적인 돌파구가 마련되기 전까지는 현재 시스템의 한계가 분명하게 드러날 것입니다.

저자는 이렇게 말합니다:

이전에는 많은 사람들이 지능형 기계가 곧 모든 직업을 대체할 것이라고 우려했지만, 이번 연구 결과는 훨씬 더 미묘한 그림을 그려줍니다. 이번 연구 결과는 특히 복잡한 사고가 필요한 업무를 하는 모든 사람들에게 안심할 수 있는 결과입니다. 다단계 전략을 개발하는 경영 컨설턴트, 복잡한 법적 소송을 변론해야 하는 변호사, 불분명한 증상의 경우 조사 진단 작업을 수행하는 의사 모두 당분간은 안도의 한숨을 쉴 수 있을 것입니다. Apple 연구원들은 인간이 강점을 발휘하는 복잡한 사고 작업에서 AI 시스템이 정확히 실패한다는 것을 보여주었습니다.

창의적인 직업과 대인 관계 활동 역시 여전히 인간의 영역입니다. 인공지능은 텍스트를 생성하거나 이미지를 생성할 수는 있지만, 진정한 혁신을 만들어내는 미묘하고 맥락에 맞는 사고에는 실패합니다. 감성 지능과 자발적 적응에 의존하는 치료사, 교사 또는 영업사원도 직업을 유지할 가능성이 높습니다.

그러나 반복적이고 표준화된 업무는 상황이 다릅니다. 이 연구가 모든 것을 명확하게 설명해주지는 않습니다. 주로 데이터를 입력하거나 간단한 일상적인 의사 결정을 내리는 사무원은 계속해서 변화를 예상해야 합니다.

-- DeepL 번역