[공식] Finding GPT-4’s mistakes with GPT-4

https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/

※ PDF - https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf

* Ars Technica 기사 - OpenAI’s new “CriticGPT” model is trained to criticize GPT-4 outputs

https://arstechnica.com/information-technology/2024/06/openais-criticgpt-outperforms-humans-in-catching-ai-generated-code-bugs/

[기사 일부 내용 GPT-4o 번역]

목요일(현지 기준) OpenAI 연구원들은 ChatGPT가 생성한 코드의 오류를 찾아내기 위한 새로운 AI 모델, CriticGPT를 선보였습니다.

이 모델은 강화 학습(RLHF)을 통해 사람 피드백을 받아서, AI 시스템이 사람이 원하는 방식으로 작동하도록 하는 ('정렬' 이라고 부르는) 과정을 향상하고, 대형 언어 모델(LLM) 출력 정확도를 높이는 데 도움을 줍니다.

"LLM Critics Help Catch LLM Bugs" (LLM 검토자가 LLM 버그를 잡는 데 도움을 줍니다) 라는 새 연구 논문을 보면, OpenAI는 ChatGPT가 생성한 프로그래밍 코드를 검토하는 사람 트레이너를 돕기 위해 CriticGPT를 개발했습니다.

GPT-4 계열 LLM을 기반으로 한 CriticGPT는 코드를 분석하여 잠재적인 오류를 지적하여, 사람이 쉽게 실수를 발견할 수 있도록 돕습니다. 연구원들은 고의로 버그를 삽입한 코드 샘플 데이터셋을 사용해 CriticGPT를 훈련해 다양한 코딩 오류를 인식하고 지적할 수 있게 했습니다.

연구진은 자연적으로 발생하는 LLM 오류와 관련된 사례 중 63%에서 CriticGPT의 비평이 사람의 비평보다 더 선호된다는 것을 발견했습니다. 또한, CriticGPT를 사용하는 사람-기계 팀은 사람만으로 비평하는 것보다 더 포괄적인 비평을 작성하면서, AI만으로 비평하는 경우에 비해 혼동(환각) 비율을 줄였습니다.

… [이후 내용 생략] …

[왼쪽 그래프 - 비평의 포괄성 / 오른쪽 그래프 - 환각 발생률]

※ CriticGPT는 트레이너들이 더 포괄적인 비평을 작성할 수 있게 도와주며, 모델 혼자서 작성한 비평보다 환각을 줄입니다.