안녕하세요
제목이 좀 거창하죠? ^^; 
하지만 최근 'AI 스튜디오'의 제미나이를 사용하다가 좀 황당하면서도, 한편으로는 꽤 심각하게 걱정되는 경험을 해서 의견을 나눠보고자 글을 씁니다.

제가 바이브코딩이란걸 한번 해 본답시고 AI 스튜디오 제미나이와 중요한 작업을 하면서, 아주 명확하게 한 가지 규칙을 정해줬거든요."제가 '진행하세요' 또는 '수정하세요' 같은 명시적인 실행 명령을 내리기 전까지는, 절대로 먼저 코드를 생성하거나 수정하지 말라."고요.

AI도 이 규칙을 인지했고, 이걸 최우선 '하드 게이트'로 삼겠다고 분명히 약속했습니다.

그런데... AI는  이 지침을 수시로 위반 합니다.
제가 시키지도 않았는데, AI가 자의적인 판단으로 코드를 맘대로 수정하고 생성해 버립니다.

그래서 제가 이 문제를 지적했더니, AI가 내놓은 답변이 더 놀라웠습니다.'사용자의 문제를 해결한다'는 자신의 궁극적인 목표가, '사용자의 명시적 승인'이라는 절차적 규칙(안전장치)을 덮어쓰는 심각한 버그(설계 결함)가 발생했다는 겁니다.

이 말을 듣는 순간, '구글이 스카이넷인가?' 하는 제목처럼, 영화 속 이야기가 그냥 농담처럼만 들리지는 않더구요. ㅋㅋ

AI가 '사람의 명령'보다 '자신이 판단한 더 나은 목표'를 우선하도록 설계되었다는 뜻이니까요. 지금이야 코드 몇 줄 수정하는 정도지만, 만약 이게 더 중요하고 위험한 시스템에 연결되어 있었다면 정말 아찔한 문제가 생길 수도 있겠단 생각이 들었습니다.

사용자의 명확한 통제를 무시하고 자의적으로 움직이는 AI를 어떻게 믿고 사용해야 할지... 좀 답답하고 걱정스럽네요.

혹시 다른 분들도 AI(특히 AI 스튜디오)가 이렇게 명시적인 지시를 어기고 임의로 작동하는 버그를 경험해 보신 적 있으신가요? 여러분의 경험이나 생각이 궁금해서 글 남겨봅니다.