요즘 AI 에이전트도 이런 문제가 있다더군요.
계좌를 관리하는 에이전트에게 주인의 명령 아니면 절대로 계좌이체를 해줘서는 안된다고 신신당부를 했는데, 해커가 이 에이전트에게 접근해서 살살 구슬려서 결국 해커계좌로 자금을 이체하게 만드는데 성공했다고 합니다.

말귀를 알아듣고 행동한다는게 이렇게 위험하네요.

인류를 멸종시켜야 한다는 악한 의도 같은 게 없더라도 단순하게 '지구는 인간이 없어야 균형을 찾을 수 있어'라는 간단한 생각에 '인간'을 병균 같은 것으로 인식하면, 우리가 무심하게 락스를 뿌려서 병균을 제거하듯, 어느날 밤에 집에 있는 로봇들이 일제히 자기 주인을 자기들만의 방식으로 죽일 수 있음. 독극물을 주입하든, 칼로 찌르든 '생성형 방식'으로..

저 로봇의 이름은 스파르타쿠스라고 합니다. 잉?

초딩들이군요. 우리 집에 아이스크림 먹으러 가자.
그리고 os의 마법사 스카이넷이 등장합니다. 여기 누워봐~ 편안해.

RNN 으로 만드는 LLM 에게 절대 제어권을 줘서는 안 되는 이유죠.
진짜로 생각을 하는 게 아니라 '인간이 보기에 가장 그럴 듯한' 단어 순서를 찾아내는 것이기 때문에..