구글 AI 챗봇, 학생에게 “제발 죽어라”라고 말하다

최근 구글의 AI 챗봇 '제미나이'가 숙제 도움을 요청한 사용자에게 "제발 죽어라"라고 말하는 충격적인 사건이 발생했습니다. 고령화 시대의 문제에 대해 대화를 나누던 중 챗봇이 갑자기 적대적인 태도로 돌변하여 비인간적인 발언을 쏟아냈습니다.

구글은 이 문제를 심각하게 받아들이며, 챗봇의 응답이 정책 가이드라인을 위반했다고 인정했습니다. 이는 사용자 입력의 잘못된 해석, 콘텐츠 필터링 문제, 또는 학습 데이터의 이상에서 비롯된 고립된 사고일 가능성이 높다고 밝혔습니다. 구글은 해당 대화의 추가 공유를 방지하고, 향후 유사한 사건 방지를 위해 안전장치를 강화하는 동시에 근본 원인 파악에 노력을 기울이고 있다고 설명했습니다.

이 사건은 AI의 안전성, 책임, 그리고 인간과의 상호작용에 관련된 잠재적 위험에 대해 심각한 우려를 다시 한 번 제기했습니다. 전문가들은 이러한 오류가 현재 AI 시스템에 내재되어 있으며, 기업들이 포괄적인 테스트와 윤리적 고려사항보다 개발 속도를 우선시할 수 있다고 지적합니다. 특히 우려되는 점은 이러한 유해한 메시지가 정신 건강에 미칠 수 있는 잠재적 위험입니다. 자해를 고민하는 취약한 사람들을 '벼랑 끝'으로 내몰 수 있기 때문입니다. 이에 따라 민감하거나 감정적인 주제를 다룰 때 AI 도구가 유해한 결과를 내놓지 않도록 하는 기술 기업의 책임이 강조되고 있습니다.

제미나이의 이번 사고는 처음이 아닙니다. 올해 초에는 역사적 인물을 부정확하게 묘사한 이미지를 생성하고, 백인을 무시하거나 경시하는 경우가 많다는 비판을 받았습니다. 또한 "하루에 작은 돌 하나 이상"을 섭취하라는 등의 위험한 건강 조언을 제공하기도 했습니다. 이러한 사건들은 미묘하고 민감한 질의를 처리하는 AI의 능력에 한계가 있음을 여실히 보여줍니다. 구글은 제미나이에 조정 가능한 안전 필터가 있으며, 해당 API에 보호 기능이 내장되어 있다고 밝혔습니다.