알림

애플-오픈AI 계약으로 AI 안전성이 더욱 강화될 전망

사나이불패 221.♡.7.94

2024.06.16 05:30

3,338

글쓰기

https://www.forbes.com/sites/timabansal/2024/06/15/the-apple-openai-deal-puts-ai-safety-under-even-greater-scrutiny/

애플과 OpenAI의 협력은 AI 안전성에 대한 감시를 더욱 강화합니다.

이번 주 WWDC24 컨퍼런스에서 발표된 Apple과의 파트너십을 통해 OpenAI는 AI 경쟁에서 한 단계 더 도약했습니다. Apple은 자사의 운영체제와 Siri에 ChatGPT를 설치하여 전 세계 20억 개 이상의 활성 기기에 영향을 미칠 것입니다. 이로써 이미 약 1억 8천만 명의 활성 사용자를 확보한 OpenAI의 도달 범위가 확장되며, Microsoft의 GPT-4 기반 코파일럿을 사용하는 수백만 명의 사용자는 말할 것도 없습니다.

이번 발표는 최근 AI 안전에 초점을 맞춘 두 명의 고위급 OpenAI 임원이 퇴사하고, AI 안전 문제에 대해 발언할 때 더 많은 보호를 요청하는 11명의 전현직 직원이 서명한 공개 서한이 발표된 직후에 이루어졌습니다.

고위 경영진의 이탈과 알트먼의 해고(및 재채용)를 둘러싼 의문 등 이전에 발생한 이러한 사건은 회사가 AI 안전보다 성장을 우선시하고 있음을 시사합니다. AI 경쟁의 선두주자로서 안전과 보안에 대한 OpenAI의 접근 방식을 면밀히 검토하고 잠재적으로 점검해야 합니다.

-OpenAI의 새로운 경영진, 안전 문제로 퇴사하다

5월 14일, 공동 창립자이자 전 수석 과학자였던 일리야 수츠케버와 전 얼라인먼트 책임자였던 얀 라이크가 OpenAI를 떠난다고 발표했습니다. 수츠케버와 레이크는 AI의 행동과 목표를 인간의 가치와 목표에 맞출 뿐만 아니라 초지능 AI의 "불량화"를 방지하고자 하는 OpenAI의 슈퍼얼라인먼트 팀을 공동 이끌었습니다. 인공 일반 지능(AGI)의 가능성이 점점 더 커지면서 슈퍼얼라인먼트의 중요성이 점점 더 커지고 있습니다. 두 사람의 동시 퇴사는 OpenAI가 안전에 대해 진지하지 않을 수 있다는 신호일 수 있습니다.

레이크는 "안전 문화와 프로세스가 반짝이는 제품에 밀려 뒷전으로 밀려났다"고 X에 글을 올렸고, 또 다른 X 게시물에서 이렇게 덧붙였습니다: "저는 회사의 핵심 우선순위에 대해 OpenAI 경영진과 꽤 오랫동안 의견을 달리해왔고, 마침내 한계점에 도달했습니다."

수츠케버는 "저는 OpenAI가 안전하고 유익한 AGI를 구축할 것이라고 확신합니다."라는 글을 X에 올리며 레이크와는 다른 입장을 취했습니다. 레이크와 수츠케버의 입장 차이는 아마도 퇴사한 직원이 자신의 지분을 위험에 빠뜨리는 NDA에 서명해야 했다는 주장으로 설명할 수 있습니다(자세한 내용은 아래 참조). 또한, 지금은 퇴사했지만 샘 알트먼을 축출하기 위해 합류했던 비상임 이사회 멤버들이 OpenAI의 보안 및 안전 프로세스에 대해 발언하고 있어 수츠케버의 주장이 더욱 힘을 잃고 있습니다.

수츠케버와 레이크가 떠난 구체적인 이유는 현재 알려지지 않았지만, 퓨어AI는 슈퍼얼라인먼트 팀이 약속한 자원을 받지 못했다고 보고했습니다. OpenAI는 팀에 약속한 전체 컴퓨팅 파워의 20%를 투입하는 데 상당히 부족했던 것으로 알려졌습니다.

안전에 대한 OpenAI의 접근 방식에 대한 레이크의 우려를 더욱 강조하기 위해 그는 OpenAI의 경쟁사인 앤트로픽에 합류했습니다. 안전에 대한 우려로 OpenAI의 고위 임원직에서 사임한 다리오와 다니엘라 아모데이 남매가 설립한 회사라는 점에서 특히 주목할 만한 행보입니다. 이들은 Anthropic을 '안전 및 연구 회사'로 설립하고 그 가치와 밀접하게 일치하는 소유권 및 거버넌스 구조를 갖추었습니다.

-AI 투명성과 안전을 위한 공개 서한

수츠케버와 레이크의 퇴사는 OpenAI의 거버넌스 팀 멤버였던 다니엘 코코타즐로가 떠난 후에 이루어졌습니다. 그는 최근 퇴사하는 직원들이 OpenAI에 반대하는 발언을 하지 못하도록 하는 서류에 서명하지 않으면 170만 달러의 자산을 잃을 위기에 처했다고 밝혔습니다.

코코타질로가 이 성명을 발표한 직후 알트먼은 이 '비방 금지' 조항을 몰랐다고 주장하며 사과하고 퇴사하는 직원들의 기득권을 존중하겠다고 약속했습니다. 하지만 복스(Vox)의 보도에 따르면 알트먼은 이 문서에 대해 몰랐다는 사실에 이의를 제기했습니다.

11명의 전현직 OpenAI 직원들은 알트먼의 답변이 나온 지 몇 주 후에 전현직 딥마인드 연구원 2명과 함께 "첨단 인공지능에 대해 경고할 권리"라는 제목의 공개 서한을 발표하면서 알트먼의 주장을 납득할 수 없다는 입장을 분명히 했습니다. 이 서한에는 인공지능의 두 대부로 불리는 요슈아 벤지오와 제프리 힌튼도 서명했습니다.

-원칙보다 이익

코코타즐로는 Microsoft와 수십억 달러 규모의 파트너십을 맺은 2022년부터 OpenAI의 안전성에 대한 약속을 의심하기 시작했다고 뉴욕 타임즈에 말했습니다. 코코타즐로에 따르면, Microsoft는 새로운 모델을 대중에게 공개하기 전에 Microsoft-OpenAI 공동의 "배포 안전 위원회"를 통해 주요 위험 요소를 테스트하겠다는 약속을 지키지 않았다고 합니다. 이 이사회는 인도에서 조용히 진행된 테스트에서 검색 엔진이 이상하게 작동한다는 보고를 받은 후에도 GPT-4 기반 Bing의 광범위한 출시를 중단하지 않았습니다.

전 이사회 멤버인 헬렌 토너와 타샤 맥컬리는 지난 5월 이코노미스트에 기고한 사설에서 OpenAI의 수익 추구가 안전과 보안 문제에 눈을 멀게 할 수 있다고 주장했습니다. 토너와 맥컬리는 "최선의 의도를 가지고 있더라도 외부의 감독 없이는 이런 종류의 자율 규제가 시행될 수 없을 것이며, 특히 막대한 수익 인센티브의 압력으로 인해 결국 시행되지 못할 것"이라고 말했습니다.

-OpenAI가 바로잡을 수 있는 기회

최근의 사건들은 OpenAI에게 AI 안전성 접근 방식을 재고할 기회를 주고 있습니다. 회사는 새로운 안전 및 보안 위원회를 구성했으며 이 위원회의 첫 번째 임무는 "앞으로 90일 동안 OpenAI의 프로세스와 안전장치를 평가하고 발전시키는 것"입니다. OpenAI는 대부분의 사무직 근로자가 사용하는 Microsoft와 Apple의 운영 시스템에 ChatGPT가 널리 퍼져 있는 상황에서 AI 안전성과 보안에 대해 깊이 성찰할 필요가 있습니다.

이는 OpenAI가 AI 커뮤니티와 더 넓은 사회의 신뢰를 확보할 수 있는 중요한 시점입니다. 새로운 거버넌스 프레임워크는 실질적인 힘을 가져야 합니다. 이는 OpenAI의 안전 및 보안을 관리하는 사람들이 전문가이며 OpenAI와 금융적 충돌이 없는(즉, 지분이 없는) 투명한 독립 과정을 요구할 것입니다. 이들은 안전 또는 보안 위험을 감지하면 AI의 배포를 지연시킬 권한을 가져야 합니다.

현재까지 드러난 일화들은 OpenAI가 안전보다 성장을 택하고 있음을 시사합니다. OpenAI가 Apple과의 파트너십을 통해 훨씬 더 광범위한 영향력을 갖게 된 만큼, 비즈니스 커뮤니티는 이사회 안전 및 보안 위원회의 권고에 따라 OpenAI가 취할 조치를 면밀히 주시할 것입니다.