ChatGPT (GPT-3.5)는 실제로 코딩을 얼마나 잘할까

알림

아름다운별 118.♡.85.168

2024.07.08 14:11

3,590

쓰기 분류

* IEEE Spectrum 기사

How Good Is ChatGPT at Coding, Really?

https://spectrum.ieee.org/chatgpt-for-coding

[기사 내용 일부 GPT-4o 번역 후 다듬음]

프로그래머들이 수십 년 동안 AI 모델을 위한 코드를 쓰다가, 이제는 AI가 코드를 쓰는 시대에 왔습니다. 하지만 AI 코드 생성기는 인간 프로그래머와 어떻게 비교될까요?

6월호 IEEE Transactions on Software Engineering에 실린 연구는 OpenAI ChatGPT가 생성한 코드를 기능성, 복잡성, 보안성 측면에서 평가했습니다. [… 중략 …]

No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT

https://ieeexplore.ieee.org/document/10507163

연구팀은 GPT-3.5의 약점을 분석하기 위해 LeetCode 테스트 플랫폼의 728개 코딩 문제를 C, C++, Java, JavaScript, Python 5가지 프로그래밍 언어로 해결하는 능력을 평가했습니다.

ChatGPT는 다양한 코딩 언어로 문제를 해결하는 데 전반적으로 꽤 뛰어났으며, 특히 2021년 이전에 LeetCode에 있었던 코딩 문제를 시도할 때 더욱 우수했습니다. 쉬운, 중간, 어려운 문제에 대해 각각 약 89%, 71%, 40%의 성공률로 제대로 작동하는 코드를 생성할 수 있었습니다.

(연구자) Tang은 "하지만 2021년 이후의 알고리즘 문제에 대해서는 ChatGPT의 올바른 코드를 생성하는 능력이 떨어집니다. 때로는 쉬운 문제에서도 질문의 의미를 이해하지 못하는 경우가 있습니다"라고 말했습니다.

예를 들어, ChatGPT가 쉬운 코딩 문제에 대해 작동하는 코드를 생성하는 능력은 2021년 이후 89%에서 52%로 떨어졌습니다. 어려운 문제에 대해 작동하는 코드를 생성하는 능력은 40%에서 0.66%로 감소했습니다. Tang은 "ChatGPT가 2021년 이전의 알고리즘 문제를 더 잘 해결할 수 있는 이유는 이러한 문제들이 훈련 데이터셋에서 자주 등장했기 때문일 수 있습니다"라고 설명합니다.

ChatGPT는 새로운 문제와 해결책에 대한 학습이 부족하여, 인간처럼 비판적 사고를 하지 못하고 이전에 본 문제만 해결할 수 있습니다. 이것은 ChatGPT가 더 오래된 코딩 문제를 해결하는 데 더 뛰어난 이유를 설명해 줍니다.