대형언어모델(LLM)이 생성형 인공지능(AI) 시대를 앞당기면서 학습 데이터에 대한 중요성도 더욱 커지고 있다. 몇 년 뒤 AI가 학습할 데이터 재고가 모두 소진될 것이라는 관측이 나오면서 AI 개발이 둔화될 가능성이 높다는 우려도 나온다. AI가 만들어 낸 합성데이터(Synthetic Data)가 대안이 될 수 있을까.


미국 비영리 AI리서치기관인 에포크AI(Epoch AI)가 내놓은 연구 결과에 따르면 사람이 만든 고품질 언어 데이터의 재고는 2026년 이전에 고갈될 것으로 예측된다. 각 기업들의 모델 크기와 학습량이 많아지며 데이터 소진 속도는 더욱 빨라질 전망이다.

이에 AI가 만든 합성데이터로 눈길을 돌리는 기업들도 있다. 일부 기업들은 합성데이터를 적극 활용해 편향성 문제를 해결하고자 노력 중이다. AI가 새로 학습할 데이터가 고갈됐을 때 AI가 만든 가상의 데이터인 합성데이터가 새로운 대안이 될 수 있을지에 대한 의문이 늘고 있다.

최근 이와 관련된 연구 결과가 발표돼 화제다. 영국 옥스포드대 컴퓨터과학과 연구팀이 국제학술지 네이처에 게재한 논문에 따르면 사람이 아닌 AI가 생성한 데이터로 학습한 AI는 제대로 된 답변을 하지 못하게 되고, 결국 '모델 붕괴'에 이르는 것으로 나타났다.

(중략)…

AI 모델에 개 사진을 주고, 학습과 생성을 입력했더니 다양한 품종의 개 이미지는 서서히 사라졌다. 골든 리트리버 등 일반적인 이미지만 남았으며 마지막에는 신체 부위가 뒤섞이는 사진이 출력되기도 했다. 인간이 만든 고품질 데이터가 고갈된 이후 AI가 생성한 데이터를 학습할 경우 엄청난 오류가 발생할 수 있다는 것을 시사한다. 

(후략)...

출처 : AI포스트(AIPOST)(http://www.aipostkorea.com)

흥미로운 기사라 퍼와봅니다.