오픈AI, AI 생성 이미지 판별 기술 도입

오픈AI가 DALL-E AI 이미지 생성기로 만들어진 이미지를 감지할 수 있는 새로운 도구를 추가했다고 발표했다. 이와 함께 더 명확하게 콘텐츠를 표시하는 새로운 워터마킹 방법도 소개되었다.

최근 블로그 포스트를 통해 오픈AI는 AI가 생성한 콘텐츠의 출처를 추적하고 증명할 수 있는 새로운 기원 방법을 개발하기 시작했다고 밝혔다. 이러한 방법에는 사진이 AI에 의해 생성되었는지를 판단하는 AI 이미지 감지 분류기와 오디오와 같은 콘텐츠에 보이지 않는 신호를 태깅할 수 있는 변조 방지 워터마크가 포함된다.

이 분류기는 사진이 DALL-E 3에 의해 생성되었을 가능성을 예측한다. 오픈AI는 이미지가 자른 경우나 압축되거나 채도가 변경된 경우에도 분류기가 작동한다고 주장한다. 이 도구는 DALL-E 3으로 만들어진 이미지를 약 98%의 정확도로 감지할 수 있지만, 미드저니(Midjourney)와 같은 다른 AI 모델에서 생성된 콘텐츠를 감지하는 성능은 5%에서 10%에 불과하다.

오픈AI는 이전에 콘텐츠 증명 및 권한 연합(C2PA)의 이미지 메타데이터에 콘텐츠 자격 증명을 추가했다. 콘텐츠 자격 증명은 이미지의 소유자와 생성 방법에 대한 정보를 포함하는 워터마크이다. 오픈AI는 마이크로소프트, 어도비와 같은 회사들과 함께 C2PA의 멤버이다. 이번 달에 오픈AI는 C2PA의 운영위원회에도 합류했다.

이 회사는 현재 제한적으로 미리보기 중인 자사의 텍스트-음성 변환 플랫폼인 Voice Engine에서 클립에 워터마크를 추가하기 시작했다.

이미지 분류기와 오디오 워터마킹 신호는 아직 개선 중이다. 오픈AI는 이의 효과를 테스트하기 위해 사용자로부터 피드백을 받아야 한다고 말했다. 연구자들과 비영리 저널리즘 그룹은 오픈AI의 연구 접근 플랫폼을 통해 이미지 감지 분류기를 테스트할 수 있다.

오픈AI는 몇 년 동안 AI가 생성한 콘텐츠를 감지하는 작업을 해왔다. 그러나 2023년에는 AI 텍스트 분류기가 일관되게 낮은 정확도를 보여 프로그램을 종료할 수밖에 없었다.