OpenAI, 사용자들이 음성 모드에 감정적으로 빠질 수 있다고 경고
페이지 정보
본문
* Wired 기사
OpenAI Warns Users Could Become Emotionally Hooked on Its Voice Mode
https://archive.md/6haTw (아카이브 사이트 링크)
[내용 일부 GPT-4o 번역 후 다듬음]
7월 말, 오픈AI에서는 ChatGPT에 소름 끼칠 정도로 사람 같은 음성 인터페이스를 도입하기 시작했습니다.
오늘(* 미국 기준 8일) 발표된 안전성 분석에서, 회사는 이런 사람 같은 음성이 일부 사용자가 챗봇에 감정적으로 의존하게 할 수 있다고 인정했습니다. 경고 내용은 GPT-4o '시스템 카드'에 포함되어 있는데, 모델과 관련된 위험, 안전성 테스트와 잠재적 위험을 줄이기 위한 사측의 노력을 상세히 설명하고 있습니다.
- GPT-4o System Card
- https://openai.com/index/gpt-4o-system-card/
[중간 내용 생략]
시스템 카드 중 '의인화와 감정적 의존' Anthropomorphization and Emotional Reliance 부분에서는 사용자들이 AI를 사람처럼 인식할 때 발생하는 문제들을 다룹니다. 사람 같은 음성 대화 모드가 문제를 더 심각하게 만드는 것 같습니다.
예를 들면, GPT-4o '레드 팀' (스트레스 테스트) 기간 동안 오픈AI 연구원은 사용자가 모델과 감정적 유대감을 나타내는 발언을 하는 사례를 관찰했습니다. 사람들은 "오늘이 우리 마지막 날이야." 같은 표현을 사용했습니다.
오픈AI는 의인화가 모델이 잘못된 정보를 '환각'할 때 사용자가 결과를 더 신뢰하게 할 수 있다고 합니다. 시간이 지나면 이것은 사용자의 대인 관계에도 영향을 줄 수 있습니다.
문서 내용을 보면, "사용자들이 AI와 사회적 관계를 맺으면서 인간과 상호작용 필요가 줄어들 수 있습니다—이것으로 외로운 사람들에게는 도움이 될 수 있지만, 건강한 관계에는 부정적인 영향을 미칠 수 있습니다"라고 합니다.
... For instance, users might form social relationships with the AI, reducing their need for human interaction—potentially benefiting lonely individuals but possibly affecting healthy relationships. ...
[이후 내용 생략]
HANK님의 댓글
AI가 정신적으로 도움을 줄 수 있는 친구가 될 수 있으면 좋겠네요.
가사라님의 댓글
분명히 이런 서비스가 나오면 심리적으로 중독되고 의존하는 사람들이 있을거에요.
이런 사람들의 억눌린 욕망들이 새로운 서비스들의 출현을 억제할 수 없게 만들겁니다.
얼마 전에 읽었던 무스파타 술레이만의 책 "더 커밍 웨이브" 때문인지 이런 서비스들이 이젠 무섭게 느껴지네요.
니케니케님의 댓글
plaintext님의 댓글
우리나라 정부와 국무위원들 수준에 눈물이 납니다
왜나를불렀지님의 댓글
하지만, 이것의 개발과 발전을 한두명이 하는게 아닌데, 전부 제어 할 수 있느냐가 관건이네요.
영화 Her 가 생각 나네요.