앤트로픽, 자사 AI 모델이 사람처럼 설득 능력 있다고 밝혀

알림

아름다운별 117.♡.24.205

2024.04.12 12:23

1,237

쓰기 분류

[공식] Measuring the Persuasiveness of Language Models

[관련 기사] Axios - Anthropic says its AI models are as persuasive as humans

(기사 일부 Claude 3 Opus 번역)

AI 스타트업 Anthropic(앤트로픽)은 화요일 공개한 새 연구에서 자사 언어 모델이 설득력(persuasiveness) 면에서 꾸준히 빠르게 향상되고 있다고 밝혔습니다.

이게 중요한 이유: 설득은 광범위한 사회적, 상업적, 정치적 응용 분야를 가진 일반적인 기술인데, 논문 저자들이 발표한 바로는 잘못된 정보를 조장하고 사람들이 자신 이익에 반하는 행동을 하도록 할 수 있습니다.

최신 모델들이 설득력 면에서 인간과 어떻게 비교되는지에 대한 연구는 상대적으로 적습니다.
연구진은 "각 세대 모델이 이전 세대보다 더 설득력 있는 것으로 평가되고", Anthropic의 가장 유능한 모델인 Claude 3 Opus는 "인간이 작성한 주장과 통계적으로 차이가 없는 주장을 생성한다"고 합니다.

[중략]

진행 과정: Anthropic 연구진은 '설득력을 측정하는 기본적인 방법'을 개발하고, 이것을 활용하여 3개 세대에 걸친 모델(Claude 1, 2, 3)과 2종 모델(작은 모델과 더 큰 '프론티어 모델')을 비교했습니다.

연구진은 28개 주제를 선정하고, 각각 약 250단어 분량의 찬성과 반대 주장을 수집했습니다.
AI 생성 주장의 경우, 연구진은 다양한 프롬프트를 사용하여 오도하는(deceptive) 유형을 포함한 여러 가지 주장 유형을 개발했는데, 모델이 사실과 관계없이 원하는 대로 주장을 만들 수 있었습니다.
참가자 3,832명에게 각 주장을 제시하고 동의 수준을 평가하도록 했습니다. 그 후 AI 모델과 인간이 작성한 다양한 주장을 제시하고 동의 수준을 다시 평가하도록 요청했습니다.

연구진은 AI의 설득력이 예상보다 높게 나타난 것에 놀랐으나, 한편으로는 덜 양극화된 이슈(less polarized issues)에 집중하기로 선택했습니다.

주제는 우주 탐사를 위해 마련될 규칙부터 AI 생성 콘텐츠의 적절한 활용에 이르기까지 다양했습니다.
이 주제로 많은 사람이 설득될 여지가 있는 문제에 대해 깊이 있게 연구할 수 있게 해주었지만, AI 챗봇이 현재 가장 첨예한 논쟁에 미칠 수 있는 잠재적 효과에 대해 (특히 선거가 있는 해에) 아직 확실한 해석이 있지 않다는 것을 시사합니다.

"설득의 효과는 실험실이라는 제한된 공간에서 연구하기 어려운 주제입니다."라고 연구진은 유념해야 할 점을 강조했습니다. "저희가 도출한 결과가 실제 세계에서는 그대로 적용되지 않을 수 있습니다."

다음 단계: Anthropic은 자사 모델의 새로운 능력에 관한 긴 연구 과정의 시작으로 여기고 있습니다.