https://www.reddit.com/r/ClaudeAI/s/ZUWoRl4ady

Reddit에 벤치마크 결과가 있어서 가져왔습니다.
원문 내용을 짧게 정리 요약했습니다.

'MineBench'라고, AI한테 프롬프트를 주고 마인크래프트 스타일의 3D 구조물 좌표(JSON)를 뽑아내게 해서 건축 퀄리티를 테스트하는 오픈소스 벤치마크인데요. 이번에 새로 나온 Claude Fable 5와 기존 Opus 4.8을 비교한 데이터입니다.

1. 속도와 비용 (15개 빌드 테스트 기준)

• 추론 속도: Fable 5 판정승

  • Fable 5: 평균 18분 04초

  • Opus 4.8: 평균 24분 48초

• 비용: Opus 4.8 판정승

  • Fable 5: $54.93 / Opus 4.8: $41.52

  • 실제 총비용은 한 30% 정도만 더 나왔습니다. Fable 5가 전체 토큰(JSON 크기)을 콤팩트하게 뱉어내서 그런 듯합니다.

2. 빌드 퀄리티 (주관적 평가)

• 디테일이 무시무시합니다. 공식 벤치 점수만큼 덩치가 엄청나게 커진 느낌은 아닌데, 디테일 집착이 장난 아닙니다. 예컨대 '오락기(Arcade Machine)'를 만들라고 하니까, 화면에 팩맨 레이아웃은 물론이고 점수판이랑 '1UP' 표시까지 정확하게 구현해 낸 최초의 모델이라고 하네요.

• 다만, 프롬프트를 좀 보수적으로 해석합니다. 스케일 자체가 웅장하게 커진 건 아니라서, 얼핏 보기엔 Opus 4.8 결과물이 더 멋져 보이는 빌드도 있다고 합니다. 전체적으로 효율적이고 콤팩트하게 필요한 것만 딱 만드는 느낌입니다.

• 코딩 성능 유추 테스트 유저 말로는, 이렇게 결과물을 군더더기 없이 직관적이고 깔끔한 코드로 짜내는 특성 덕분에 Fable이 코딩 쪽에서 깡패 소리를 듣는 게 아닌가 추측하더군요.

3. 혹시 테스트해 보실 분들을 위한 팁 (VoxelBench 팀 피드백)

Fable 5가 기본적으로 구조물을 좀 작게 만드는 경향이 있어서, 프롬프트 템플릿에 아래 두 줄을 추가하면 퀄리티와 크기가 비약적으로 상승한다고 합니다.

요약하자면 Fable 5는 "돈은 좀 더 들지만 속도가 빠르고, 허풍 떨지 않으면서 디테일에 극도로 집착하는 꽉 찬 육각형 스타일" 정도로 정리할 수 있겠습니다.

벤치 결과를 보고 나니 Fable5와 Opus4.8 마치 종이 다른 느낌이랄까요?
비용 부분은 생각보다 높지 않다는데 그건 아직 평가 보류해야 할거 같습니다.