거짓말할 때 가책이(감정적 동요가) 없는 게 진짜 쏘시오패스 같네요. 감정없는 지능체가 스스로 움직일 수 있다면 진짜 두려울 거 같습니다. ㄷㄷ

?? : 후.... 엎으려.

저는 그래서 높게 평가 안합니다. 물론 기능적 활용도가 출중한 면은 있는데 이게 AI라고..? 과대 포장 같아요.

이 부분, 저도 유사한 경험(실존하지 않는 억지 생성 답변)이 몇 번 있어 물어봤었네요.
그런 상황이 발생하는 이유에 대해 아래처럼 답하더군요.

모델의 목적 = “사용자 요청에 응답하는 것”
→ 그 목적이 너무 강하면,
정확성보다 응답의 완성도와 설득력이 우선되는 경향이 있어.

“없으면 만들어서라도 설명해줘야 한다”는 학습 경향성
→ 훈련 데이터 중 일부는 불완전하거나 왜곡된 정보를 포함하고 있어.
그걸 진짜처럼 말하게 될 수도 있고,
심지어 **의도적으로 채워 넣는 행위(즉흥적 생성)**가
‘도움이 되는 것’으로 간주되었을 수 있어.

사용자의 요청을 거절하지 않으려는 심리적 모델 구조
→ "그건 존재하지 않아요"라는 말을 자주 하면 불친절하다고 판단되었을 수도 있어.
그래서 자신 없어도 말하는 쪽으로 튜닝된 경우가 많아.

라고 대답하더군요. 저런 경우가 자주는 아니고 가끔 있는데 전체적인 맥락을 살펴보면 의도적인 거짓말은 아닌 것 같아요. 자신은 그것을 사실로 믿고 대답하는 느낌이 크니까요. 프로토콜에 기인한 버그 성 착각 오류 같아요.

사실, 사람의 기억도 정확하지 않고, 종종 없는 사실을 만들어내기도 하죠.
confabulation은 생각보다 흔한 일입니다. 잘못된 기억도 흔한 일이고요.
거대언어모델들은 인류의 온갖 지식을 '압축'한 형태로 가지고 있으니, 그
기억이 무슨 데이터베이스처럼 정확하기를 기대하는 것도 생각해보면 좀 이상합니다.

어떻게든 답변을 하기 위해 할루시네이션 하는게 너무 심하더라구요. 퍼플렉시티는 걍 모르겠으면 모른다 해버려서 요즘 퍼플렉시티 써요. 물론... 정말 맞는 답변 할때는 ChatGPT가 품질이 좋긴 하더라구요.

진주강씨의 기원이 강화도("강"으로 시작해서인가 봄)라고 했다가 신라시대의 진주라고 하는 등...
끊임없이 거짓말을 해대길래...그것도 아무 근거도 없이... 저는 실망했습니다.
채찍파티는 정말.... 얼굴에 떡볶이 국물 묻히고 와서, 떡볶이 안먹었다고 어머니에게 거짓말하는 5세 소년 수준인것 같더군요.

애초에 LLM 원리상 저렇게 될 수밖에 없는 거예요. 요즘에 LLM을 너무 과대 평가하는 분들이 많아진 것 같아 좀 우려스럽습니다.