LLM의 인공 신경망에서 인간 뇌와 비슷한 엽 구조가 발견 ( MIT 막스 테그마크 교수의 연구실 )
알림
|
페이지 정보
작성일
2024.11.01 08:45
본문
MIT 막스 테그마크 교수의 연구실에서 흥미로운 논문이 나왔습니다.
LLM의 인공 신경망에서 인간 뇌와 비슷한 엽 구조가 발견되었답니다
이게 기능적인 유사성에서 생겨난 건지 그냥 우연의 일치인지는 아직 모릅니다.
다음은 제미니 1.5 프로가 요약한 논문 내용입니다.
The Geometry of Concepts: Sparse Autoencoder Feature Structure
이 논문은 대규모 언어 모델(LLM)의 활성화 공간에서 개념을 나타내는 고차원 벡터 사전을 생성하는 데 사용되는 희소 오토인코더(SAE)의 특징 구조를 분석합니다. 이 연구는 SAE 특징 점군(point cloud)이 세 가지 수준에서 흥미로운 구조를 가지고 있음을 밝혀냈습니다. 특히, 이 구조 중 일부는 인간 뇌의 기능적 모듈성과 유사성을 보입니다.
1. 원자 규모(Atom Scale): 결정 구조
가장 작은 규모에서 SAE 특징 점군은 평행사변형 또는 사다리꼴 형태의 "결정" 구조를 형성합니다. 이는 "남자:여자::왕:여왕"과 같은 유명한 단어 유추 예시를 일반화한 것입니다. 단어 길이와 같은 의미론적으로 무관련한 "방해 요소" 특징을 제거하기 위해 선형 판별 분석(LDA)을 사용하면 이러한 결정 구조가 더욱 명확하게 드러납니다.
2. 뇌 규모(Brain Scale): 중간 규모 모듈식 구조
중간 규모에서 SAE 특징 점군은 기능적 모듈성을 보입니다. 즉, 함께 활성화되는 경향이 있는 기능적으로 유사한 특징들이 공간적으로도 가까이 위치하여 "엽(lobe)"을 형성합니다. 이러한 "엽"의 존재는 인간 뇌의 기능적 영역(예: 브로카 영역, 청각 피질)과 유사합니다. 예를 들어, 수학 및 코드 관련 특징들은 fMRI 이미지에서 볼 수 있는 기능적 엽과 유사한 "엽"을 형성합니다. 이러한 공간적 모듈성은 여러 지표를 사용하여 정량화되었으며, 통계적으로 유의미한 것으로 나타났습니다. 논문에서는 문서 내에서 함께 발생하는 특징들의 클러스터가 공간적으로도 함께 모여 있는 것을 보여주는 예시를 제시하며, 이는 특징 기하학이 무작위일 경우 예상되는 것보다 훨씬 더 높은 수준의 공간적 집중도를 보여줍니다. 특히, 코드와 수학 관련 특징들은 하나의 엽을 형성하고, 짧은 메시지/대화 특징들과 긴 형식의 과학 논문 특징들은 각각 다른 엽을 형성하는 것을 확인했습니다. 이는 인간 뇌에서 특정 기능을 담당하는 영역이 특정 위치에 모여 있는 것과 유사한 현상입니다.
3. 은하 규모(Galaxy Scale): 대규모 점군 구조
가장 큰 규모에서 SAE 특징 점군은 등방성이 아니며, 고유값의 분포가 멱 법칙(power law)을 따릅니다. 이 멱 법칙의 기울기는 중간층에서 가장 가파르게 나타납니다. 또한, 클러스터링 엔트로피가 층에 따라 어떻게 달라지는지도 정량화했습니다.
인간 뇌와의 유사성 요약:
이 연구의 핵심적인 발견 중 하나는 SAE 특징 공간의 "뇌 규모" 구조가 인간 뇌의 기능적 모듈성과 유사하다는 것입니다. 인간 뇌에서처럼 관련 기능을 수행하는 뉴런들이 특정 영역에 모여 있는 것처럼, SAE 특징 공간에서도 함께 활성화되는 경향이 있는 특징들이 공간적으로 가까이 위치하여 "엽"을 형성합니다. 이러한 유사성은 LLM의 내부 작동 방식과 인간의 인지 과정 사이에 잠재적인 연관성이 있음을 시사하는 흥미로운 결과입니다. 하지만 이 유사성이 단순한 우연의 일치인지, 아니면 더 깊은 메커니즘적 유사성이 있는지는 아직 밝혀지지 않았으며, 향후 연구에서 더 자세히 탐구해야 할 주제입니다.
출처 링크 하단
댓글 6
/ 1 페이지
가사라님의 댓글
저도 이 논문이 이슈가 되었다는 소식은 들었는데 바로 닉 채터의 <The Mind is Flat> 이 떠오르더군요.
그 책에서 하는 말은 인간에게 무의식같은건 없고 감각데이터에 대한 순간적인 처리이후 출력을 하는 현상으로써의 의식만이 존재한다고 정의합니다.
곧 닥쳐올 특이점 이후의 세상에서 인공지능에게 의식이 있느냐고 물어보는 것이 얼마나 재미있는 일이 될지를 생각해봐야죠.
그 책에서 하는 말은 인간에게 무의식같은건 없고 감각데이터에 대한 순간적인 처리이후 출력을 하는 현상으로써의 의식만이 존재한다고 정의합니다.
곧 닥쳐올 특이점 이후의 세상에서 인공지능에게 의식이 있느냐고 물어보는 것이 얼마나 재미있는 일이 될지를 생각해봐야죠.
에헤라디야님의 댓글
뉴럴 네트웍에 노드 한 개가 뉴런 한 개를 모사 한 것이니까 비슷한 구조가 나올 수도 있긴 하겠네요.
TokayDrago님의 댓글
이제 LLM 에 손발귀코입 같은걸 달아주면 SF에 나오는 안드로이드가 되는거군요.
고약상자님의 댓글
그만큼 우리 인간의 뇌 신경망 구조가 최적화 되어 있다는 의미도 되죠. 뉴런의 신호 전달 거리를 최소화 하고, 빠르게 처리하려면 아무래도 비슷한 기능끼리 구역을 이루는 것이 효율적일 겁니다.
nkocuw9sk님의 댓글