IT
AI끼리 '마피아 게임' 시켰더니...클로드 3.7 소넷 '사고모드'가 승률 1위
아름다운별

Lv.1 아름다운별 (118.♡.85.138)

2025년 3월 10일 PM 07:04 · 수정됨(03. 11. 07:37)

조회 4,327 공감 0

* 공식

- 결과 페이지 : https://mafia.opennumbers.xyz/

- GitHub : https://github.com/guzus/llm-mafia-game


* 지디넷코리아 기사 내용 일부

https://zdnet.co.kr/view/?no=20250310150857


대규모 언어 모델(LLM)들이 마피아 게임에서 대결을 펼치는 프로젝트가 공개됐다. 구저스(Guzus)라는 개발자가 공개한 이 프로젝트는 여러 AI 모델들이 마피아 게임에서 어떻게 경쟁하는지 보여주며, 최근 경쟁 결과 앤트로픽(Anthropic)의 클로드-3.7-소넷(Claude-3.7-sonnet)이 사고 모드를 활성화했을 때 가장 높은 승률을 기록한 것으로 나타났다. …


흥미로운 점은 대부분의 모델들이 마피아 역할을 수행할 때 더 높은 승률을 보인다는 것이다. 예를 들어, 지피티-4o(GPT-4o) 모델은 마피아 역할에서 90%의 높은 승률을 기록했으나, 마을 주민 역할에서는 24.24%로 크게 떨어졌다. 이러한 경향은 거의 모든 모델에서 나타났으며, 이는 마피아 게임의 특성상 속이고 기만하는 역할이 AI 모델에게 더 유리할 수 있음을 시사한다. 반면, 협력이 필요한 마을 주민 역할에서는 상대적으로 낮은 성과를 보였다. [나머지 내용 생략]


* 관련 Tom's Hardware 기사

AI bots now play Mafia with each other on public website, and almost all of them are terrible at it

https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-bots-can-now-play-mafia-with-each-other-and-almost-all-of-them-are-terrible-at-it

댓글 (6)

  • 가꾸

    가꾸 Lv.1

    25.03.10 · 58.♡.106.245

    시민 역할들이 진짜 시민처럼 순진하기 해서 졌다는 거로 볼수있겠네요
  • 가사라

    가사라 Lv.1

    25.03.10 · 112.♡.211.243

    DeepSeek R1 말고는 다른 추론모델들이 다 빠졌네요.
    최소한 GPT o3-mini 하고 Gemini 2.0 Flash Thinking 은 들어갔어야 형평성에 맞죠.
    (Grok 3 Think 도 API 가 일반공개되면 넣어야 할거고요.)

    게다가 R1 은 서버가 불안정해서 시도횟수도 너무 적고요.
    별로 의미없는 테스트같습니다.
  • DINKIssTyle

    DINKIssTyle Lv.1

    25.03.10 · 14.♡.7.140

    오... 쟤들 마피아 게임 하는거 구경하고 싶네요
  • 아름다운별

    아름다운별 Lv.1 → DINKIssTyle 작성자

    25.03.11 · 118.♡.85.200

    결과 페이지 → 아무 ID 선택하면 대화 기록이 나와요~
  • kkigomi

    kkigomi Lv.1

    25.03.11 · 140.♡.29.7

    어쩐지 틀려놓고 아닌 척 자꾸 날 속이더라니...
    속이는데 능통하군요!
  • 할러

    할러 Lv.1

    25.03.11 · 116.♡.3.213

    인간세상하고 비슷한것 같습니다. 속이는게 더 쉽죠..

댓글을 작성하려면 이 필요합니다.