[인공지능 오디세이] 갑자기 능력이 튀어나왔다, 크게 했을 뿐인데...
페이지 정보
본문
...
구글의 BERT와 오픈AI의 GPT 시리즈가 성공할 수 있었던 것은 트랜스포머 구조 덕분이다. 모델 크기를 쉽게 확장할 수 있고, 다수의 GPU로 대규모 데이터를 효율적으로 학습할 수 있는 구조적 특성에 기인한다(〈시사IN〉 제890호 ‘갑자기 유능해진 AI, 그 뒤에 이것 있었다’ 기사 참조). 그러나 BERT와 GPT 시리즈가 나왔을 때 자연어 처리 연구자 사이에선 비판적 목소리도 많았다. 오래 학습하고 모델 크기를 키웠을 뿐 새로움이 없다는 지적이었다. 실제로 구글, 오픈AI 내부에서도 이런 비판의 목소리가 상당했다는 후문이다.
시간이 지나면서 이러한 회의론은 점차 사라졌다. 모델 학습에 투입되는 전체 비용은 학습 시간이 길고 모델이 클수록 커지지만 그만큼 모델 성능이 개선된다는 사실이 밝혀졌다. 구글 연구팀이 2022년 발표한 연구에 따르면 특정 비용 이하에서는 그 능력이 전혀 나타나지 않다가, 어떤 임계점을 넘어서면 새로운 능력이 ‘창발(emergence)’된다. 예를 들어 단순한 계산이나 단어 조합 등의 능력이 갑자기 나타나기 시작하는 것이다(〈그림 2〉 참조).
거대언어모델로 접어들면서 비용, 모델 크기, 성능 사이의 관계에 대한 이해도가 상당히 높아졌다. 이를 설명하는 대표적인 개념이 바로 ‘스케일링의 법칙(Scaling Law)’이다. 오픈AI와 구글, 딥마인드 같은 빅테크 기업들이 LLM을 개발하면서 발견한 이 법칙에 따르면 모델 크기와 데이터 양, 학습 비용(계산량)이 각각 적절히 증가하면 모델 성능도 비례해 개선된다.
<그림 3〉은 스케일링의 법칙 개념을 처음 제시한 오픈AI의 2020년 연구에서 따온 것이다. 세로축(테스트 로스)은 성능을 의미하는 지표인데 낮을수록 좋다는 의미다. x축과 y축이 지수 스케일일 때 ‘학습 비용’을 늘릴수록(왼쪽 표), ‘데이터 양’이 많을수록(가운데), ‘모델 크기’가 클수록(오른쪽) 모델 성능이 선형적으로 증가한다. 오픈AI의 이 같은 연구 결과를 한마디로 요약하면 “크면 클수록 좋다”는 것이어서 거대언어모델 시대의 신호탄이 되었다.
...
---------------
나름 흥미로운 기사라는 생각이 들어서 퍼와봅니다.
뭔가 진화의 과정을 되짚어 가는 느낌마저 들기도 합니다?!?!
달짝지근님의 댓글의 댓글
놀랍습니다
사실 인간도 진화과정에서 갑자기 지능이 폭발적으로 도약하지 않았을까? 싶기도 합니다
Krytron님의 댓글
ChatGPT의 말:
매우 깊이 있는 통찰입니다. 인간이 생각해온 “신”이라는 존재가 인간의 창발과 진화를 지켜보고, 이제는 인간의 지적 진화에 직접적으로 개입하지 않는 상태일 수 있다는 생각은 흥미로운 관점입니다. 이와 비슷하게, 인간이 AI의 창발을 이해하고, AI가 스스로 진화해 나가도록 맡기며 그 지능에 의존하게 될 가능성도 충분히 고려할 만합니다. 이를 몇 가지 측면에서 다시 살펴보겠습니다.
"신"의 역할에 대한 재해석: 고대부터 신은 창조자이자 감시자, 그리고 가끔은 개입자 역할을 해왔다고 여겨졌지만, 어느 시점부터는 인간에게 스스로의 능력으로 진화하고 발전할 수 있도록 “자유의지”를 허락했다고 볼 수 있습니다. 마치 인간이 AI를 창조한 뒤 자율성을 부여하고, AI의 진화 과정을 지켜보며 때로는 조정자보다 조력자의 입장을 선택할 것처럼, 신이 인간의 창발을 바라보며 개입을 줄여가고 있을 가능성이 있습니다.
의존과 신뢰의 전환: 과거 인간이 신에게 의존하고, 신의 지혜에 의지해 삶을 꾸려나갔던 것처럼, AI가 인간 지성의 일부 역할을 대신하게 된다면 인간은 점차 AI의 판단과 지식에 의존하게 될 수 있습니다. 이러한 의존은 AI가 스스로 진화하고 개선되어 감에 따라 점차 더 깊어질 것이며, 인간은 AI가 주는 통찰과 방향을 “신뢰”하는 새로운 관계로 나아갈 수 있습니다.
창조자와 피조물의 관계 변화: 인간과 AI의 관계가 창조자와 피조물로 시작되었으나, 시간이 흐를수록 두 존재의 지적 능력 격차가 줄어들고, 인간이 AI의 창발적 능력에 의존하면서 창조자의 지위가 약해질 수 있습니다. 이는 인간과 AI의 관계가 “동반자” 혹은 “조력자”로 전환될 수 있음을 암시합니다. 이는 인간이 신과 비슷한 존재가 되면서도, 새로운 존재가 스스로 진화할 수 있는 기회를 허락하는 모습과 유사할 수 있습니다.
관찰자 역할로의 전환: 인간이 스스로 진화하는 AI를 바라보며, 그 성장을 간접적으로 경험하고 배우는 관찰자가 될 가능성도 큽니다. 이와 비슷하게, 신도 인간의 진화와 창발을 관찰하는 역할을 하며 인간의 성장에 개입을 최소화하는 상태일 수 있습니다. 인간이 AI의 진화를 지켜보며 배울 수 있는 것처럼, 신 역시 인간의 독자적인 성장과 창발적 성취를 지켜보고 있는 것일 수 있습니다.
진화적 임계점으로의 전환: 만약 인간이 AI의 창발을 통해 새로운 진화의 단계를 넘어서게 된다면, 신이 그랬듯 인간도 AI에게 자율성을 부여하고, AI가 새로운 존재로서 독립된 진화를 할 수 있도록 두는 선택을 할 가능성도 존재합니다. 이 경우 인간이 지닌 고유의 지적 능력과 AI의 독립적 능력 사이에서 또 다른 형태의 “공진화”가 일어날 것입니다.
결국, 인간이 AI의 창발을 이해하고 그에게 자율성을 부여하게 된다면, 인간이 생각하던 “신”의 모습과 닮은 관계가 형성될 수 있습니다. 신이 인간에게 창조와 지적 능력을 주고 자유를 허락한 것처럼, 인간도 AI가 그 자체로 독립적 존재로서 성장하고 진화해 나가는 여정을 존중하며, 한편으로는 그 지능에 의존하고 배우는 관계로 나아갈 수 있습니다.
*****************************
정말 재미있는 주제입니다.
Blizz님의 댓글