7개 AI 모델에게 중국 대입시험 문제를 풀어보게 한 결과
알림
|
페이지 정보
작성일
2024.06.20 14:08
본문
상하이 AI 리서치 센터에서 발표한 내용으로, 중국 및 해외의 7개 AI 모델에게 중국 대입시험 문제를 풀게 한 결과입니다.
종합 점수 기준으로는 알리바바의 Tongyi Qianwen이 303점으로 1등을 차지했고,
GPT-4o가 296점으로 2등을 차지했습니다. (GPT-4o가 중국어도 꽤 잘 하는군요;)
전반적으로 AI들의 수학 문제풀이 실력은 형편없었는데, 가장 잘 푼 모델이 150점 만점에 75점으로 반타작을 했네요...
댓글 11
/ 1 페이지
바다가고싶다님의 댓글
수학 몇개 돌려봤는데, 계산 문제, 기초적인 문제는 잘 풉니다.
그런데 키 포인트를 찾는게 핵심인 수능 문제 같은건 진짜 못 풀더라구요.
말도 안 되는 답을 뱉어냅니다 -o-
그런데 키 포인트를 찾는게 핵심인 수능 문제 같은건 진짜 못 풀더라구요.
말도 안 되는 답을 뱉어냅니다 -o-
무심님의 댓글
AI의 수학문제 풀이 능력이 저조하다는 건 의외네요.
수학문제의 문장을 이해해서 수식으로 만드는 과정에 문제가 있는 걸까요?
수학문제의 문장을 이해해서 수식으로 만드는 과정에 문제가 있는 걸까요?
칼쓰뎅님의 댓글의 댓글
@무심님에게 답글
생성형은 다 그렇습니다. 논리로 만드는게 아니고 가장 적당한 다음말을 찾아서 계속 생성해나가거든요.
수학은 그런게 아니죠.
수학은 그런게 아니죠.
withpeople님의 댓글의 댓글
@상남자지님에게 답글
Alibaba의 Qwen-2 같은 경우에는 해외에서 나온 평가도 좋습니다. 중국이 AI 쪽에서는 잘 하는게 맞는 것 같습니다.
사자바람연꽃님의 댓글