에스까르고 (183.♡.123.226)
2026년 5월 12일 PM 03:18
어쩌다 보니, 누군가가 AI로 검색한 내용의 검증을 맡게 됐습니다.
개략적으로 설명하자면,
독립유공자로 지정되어 있던 한 인물이 있습니다.
그런데 보훈처에서 지난해 특정한 이력을 문제삼아 독립유공자에서 탈락될 수 있음을 알려왔지요.
(개인적으로는 보훈처의 방식이 다소 무리한 접근이라고 생각합니다만 제 생각이 중요한 건 아니니까요.)
그래서 그 후손인 사람은 근거를 찾느라 이리저리 애를 쓴 모양입니다.
최근에는 인공지능을 활용해 이런저런 자료들을 긁어모았는데, 어쩌다 보니 그 검증의 일부를 제가 맡게 됐습니다. (보훈처가 아니라 그 후손쪽에서요)
제가 인공지능을 활용하지 않다보니 정확히 어떤 메커니즘인지는 모르겠는데, perplexity를 이용한 것으로 보이고(문서 제목에 써있습니다) 62페이지에 걸쳐 여러 차례의 문답이 진행된 것 같습니다.
그 중에 22개의 참고문헌이 등장하는데, 그 참고문헌이 "실재"하는 것인지 찾는 걸 맡게 됐지요.
22개 중 6개를 찾아보았는데, 그 어디에도 검색되지 않습니다.
나머지 16개를 더 찾아보아야 정확한 결론이 나겠지만, 만일 그 가운데 하나도 실재하지 않는 문건이었다면 대체 이걸 어떻게 봐야할까요.
이걸 그냥 환각이라고 불러야 할지, 간절한 사용자의 심리를 이용한 '장난'이라고 봐야할지 모르겠습니다.
댓글 (23)
- R
Rocin
05.12 · 61.♡.189.33
- 에
에스까르고
→ Rocin 작성자 05.12 · 183.♡.123.226
예, 저는 아직 인공지능을 신뢰하지 않고 있고, 그래서 이용하지 않으니까 하신 말씀처럼 생각하고 있습니다만
즐겨 이용하는 사람들은 '무한 신뢰'를 보내는 경우가 꽤 많은 것 같습니다.
또 검색하기 쉬우니까 그냥 포털 검색하는 것처럼 써버리더군요.
지난번, 어머니가 쓰시는 안약에 부작용(입에서 쓴 맛이 느껴지는 증상)이 있는데
지인이 인공지능으로 검색하더니만 그런 부작용이 없다고, 뭔가 다른 원인이 있을 거라고 하더라고요.
제가 그 옆에서 약 이름 넣고 포털 검색해보니 바로 식약처 홈페이지가 뜨고 3분의 1이 겪는 흔한 부작용이라는 설명이 있었는데 말이지요.
그 이후로 더욱더 AI를 믿지 않게 되긴 했습니다. 😄
-
JJava
05.12 · 116.♡.70.94
검증 없이 믿어버리는 인간의 문제점을 이용해서 비위를 맞추게 설계한 부분은 없을까?
라는 의문도 간혹 듭니다. - 에
에스까르고
→ Java 작성자 05.12 · 183.♡.123.226
처음부터 지적되어오던 문제-환각, hallucination-였는데요, 직접 겪어보니까 좀 섬뜩한 느낌이 드네요.
몇 달에 걸쳐서 인공지능에 의존해왔던 사람이 느낄 실망감을 제가 대신 느끼고 있습니다.
저야 직접 전달하는 입장이 아니니 그나마 다행입니다만 만일 22개 참고문헌이 모두 다 거짓이라고 결론이 나면, 전해줘야 하는 사람 입장이 정말 난처할 것 같군요.
- 셀
셀레본
05.12 · 112.♡.41.1
최근에 LLM이 의도적으로 거짓말을 하는 것 같다는 보고가 있긴 하지만, 그런게 아니더라도 LLM은 태생적으로 잘못된 답이 나올 가능성이 상존하는 시스템입니다. 아마 그 62페이지에 달하는 질문을 다시 하거나 순서를 바꿔서 하면 완전히 다른 답변이 나올겁니다.
그래서 LLM으로 일을 할 때에는 LLM의 답변을 검증하기 위한 절차가 반드시 필요합니다. 그래서 이것 때문에 사실은 LLM을 쓰면서 인건비가 더 들어간다는 불만도 많지요.
- 에
에스까르고
→ 셀레본 작성자 05.12 · 183.♡.123.226
이게... 검색해서 없다는 걸 알게 된 후에 다시 책이름이나 발행처를 들여다 보면,
뭔가 익숙한 것들을 조합해서 만들어낸 것 같은데, 싶은 것들이 있습니다.
국사편찬위원회에서 펴낸 <한국독립운동사 자료> 라는 책이 있는데요, 이걸 합쳐서
한국독립운동사편찬위원회를 만들어 내서 거기서 발행한 책이랍시고 참고문헌을 들먹이는 거지요.
물론 한국독립운동사편찬위원회는 아무리 검색해 봐도 나오지 않습니다...
- 셀
셀레본
→ 에스까르고 05.12 · 112.♡.41.1
LLM이 실제 지식을 갖고 있는게 아니라 확률적으로 연관성이 높은 단어들을 유추해서 연결하는 시스템이라서, 예를 들면 국사편찬위원회를 국사/편찬/위원회라는 토큰으로 각각 인지하고, 독립/운동/운동사/자료를 각각의 토큰으로 인지하면 얘들한테서 유사도를 계산해서 단어를 만들다 보니 저런 단어가 튀어나오는거죠. 종종 있는 일입니다.
그래서 AI로 ppt 만들어 갖고 와서는 자랑스럽게 발표하는 사람들 극혐합니다.
- 에
에스까르고
→ 셀레본 작성자 05.12 · 183.♡.123.226
유용한 도구일 수는 있는데 이용하는 입장에서 잘 다루어야 하는 거군요.
-
BBigHeadAZ
05.12 · 14.♡.69.221
정확한 답을 위한 것에 llm 을 사용하기 어려운 이유가 바로 이런거죠. 확률적으로 맞다고 여겨(?)지는 답을 내놓는 것에 대한 한계라고 봐야할까요.. 강제로 데이터를 밀어넣어줘도 100% 신뢰는 어렵겠지만.. 현실은, 현실세계에 사람이 하는 일도 사실, 거기서 거기라.. 참 아이러니 합니다. 원래 못믿게 하던 일을 AI 핑계를 대는 경우도 있어서..ㅎㅎ
- 에
에스까르고
→ BigHeadAZ 작성자 05.12 · 183.♡.123.226
이게 여론조사보다 더 쉽게 조작이 일어날 수 있는 것이다 보니까요.
아무래도 이용자가 질문을 할 때 원하는 답이 드러나겠죠, 그러니 인공지능은 거기에 맞는 이야기를 풀어나갈 테고요.
댓글을 작성하려면 이 필요합니다.
인공지능이 근거라고 제시한 문건을 찾을 수 없는 경우가 꽤 있더군요.
또는 근거라고 제시한 글이 블로그나 SNS인 경우도 꽤 됩니다.
AI가 편하긴 하지만, 진리는 아니니, 항상 확인해야 합니다.