https://www.reddit.com/r/singularity/comments/1jsxpjc/fictionlivebench_for_long_context_deep/

최근에 메타(페이스북)은 라마 4.0을 발표했고 (비교적 야심찬 발표)

그 전에는 구글에서 잼민이 2.5 버전을 발표했습니다.

LLM 성능 중 중요한 한 축이 해당 모델과 얼마나 오랫동안 같은 주제로 이야기할 수 있느냐입니다. 즉, 누가 얼마나 기억력이 좋고, 사용자가 해당 채팅에서 입력한 내용을 이해하고 유지하느냐의 싸움이 치열합니다. 이에 대한 흥미로운 벤치가 있어서 가져와봤습니다.

표에서 볼 수 있다시피 초본에는 다들 그럭저럭 우수합니다. 하지만 사용자의 입력량이 늘어날수록(=토큰 숫자가 늘어날 수록) 이해도가 떨어지고(=앞의 내용을 잊어버리고) 최신 내용에만 기반해서 대답할 가능성이 높아집니다. 그런데 주목할 모델이 구글 잼민 2.5입니다. 이 모델은 맥락창(Context Window) 크기가 100만 토큰을 지원할 정도로 매우 우수하고 향후 200만까지 늘리겠다는 야심이 들어간 모델입니다. 그래서 인지 잼민 2.5가 보이는 벤치 점수는 입력량이 늘어날수록 타 모델을 현저히 압도하고 있습니다. 12만을 입력했을 때도 이해도 점수가 90점대입니다. 

그간 오픈 AI나 딥싴, 소넷 같은 얘기는 많이 나왔지만 구글도 그간의 망신을 벗어버리고 챗gpt와 소넷에 대항할만한 경쟁력을 확보한 게 아닌가 싶습니다. 

그나저나 라마 4의 점수는....어쩐지 눈물이 나는군요. 저커버그는 트럼프 쫓아갈 시간에 라마 프로젝트나 신경쓰지 하는 생각입니다.