젠스파크의 장점이, 젠스파크 하나로 챗지피티, 클로드, 그록, 제미나이를 최신 버전으로 무제한으로 쓸 수 있다는 것입니다.

물론 각 회사별 모든 버전(챗지피티)은 아니지만, 거의 쓸 수 있으니, 문제는 없는 것 같습니다.

둘 때는 프롬프트 하나 입력으로 챗지피티, 클로드, 제미나이 세 가지 동시의 답변을 모아서, 정리해서 답변을 주는 MOA 기능도 매력적입니다. 한 번에 어려 개를, 거기다 통합해서 정리해서 가장 괜찮다는 답변으로 만들어 줍니다.

이런 상황에서 가장 최신의 그록4 추가 소식까지 들었습니다.

그래서 그록 4의 성능이 궁금해서 수능을 한 번 테스트 해보고 싶었습니다.

젠스파크가 여러 개를 동시에 쓸 수 있다 보니, 갑자기 생각이 듭니다.

그리고 막상 하려다 보니, 또 궁금한 것이 생겼습니다.

일이 점점 커지는 느낌이.... _ _*)

처음에는 시험지 한 개만 가볍게 테스트해보려다가, 최소 3개는 해보자 해서, 23학년도, 24학년도, 25학년도 3년 치 시험지를 준비했습니다. 그리고 한 번 해보니, 시간도 체크를 하는 것이 좋은 것 같아, 시간도 추가했습니다.

결국, 젠스파크 내의 AI와 각 회사의 원래 AI, 소요시간, 정답의 정확도, 등등을 비교해 보게 되었습니다.

나름 재미있는 결과 같아서, 한 회분이 아니라, 3회분의 최종 결과를 공유해 보고자 글을 적습니다.

AI가 처음 나왔을 작년만 해도, 수능 문제를 풀려 보면 꽤 틀렸습니다. 특히나 30번대 문제는 엄청 틀렸던 것으로 기억합니다. 그래서 ChatGPT가 처음 나왔을 때는 아쉬웠던 점이 있었습니다. 그래서 변형문제 등의 제작은 좀 멀었다고 생각했습니다. 하지만 올 초가 되면서, 성능이 점점 좋아지는 것이 느껴졌습니다. 슬슬 30번대 문제도 많이 맞히는 것이 느껴졌습니다. 그래서 이젠 본격적으로 사용할 수 있을까? 하는 생각이 들었습니다. 다른 회사들도 상향 평준화가 되면서 안정적으로 되는 것 같았습니다. 챗지피티 o3 프로, 클로드 소넷4, 제미나이 2.5 프로 등등 이때부터는 정말 성능이 상향되었습니다. 이러던 차에 젠스파크로 다한 것을 사용해 볼 수 있으니, 비교해 보는 기회를 가져봤습니다.

먼저, 아래 순서대로 각 학년도의 결과입니다 23학년도, 24학년도, 25학년도.

그리고 마지막 25학년도 결과 가장 아래에 3년 치 결과를 정리한 것이 있습니다

G가 붙은 것은 Genspark를 통해서 사용하는 것이란 의미입니다.

A열은 문항 번호와 유형,

B열은 수능 답지에 있는 진짜 정답입니다.

C열부터는 각 회사가 정답이라고 제공한 것이구요.

노란색에 줄 그인 것은 틀렸다는 표시입니다.

11행에 있는 숫자, 즉 각 열 가장 아래 마이너스 숫자는 각 모델별로 9개 중에서 틀린 개수입니다. (이 숫자가 적을 수록 좋은 거겠죠.)

K열 마이너스 숫자는 문항별로 틀리는 AI들의 개수입니다. (이 숫자가 많을수록 AI들이 어려워하는 숫자이겠습니다.)

24학년도는 처음 하나만 하려고 시작한 것이라, 이때는 소요 시간은 없습니다. 다음에 23, 25학년도부터 시간을 추가했습니다.

이미 언급한 내용이지만, 제가 눈여겨본 것은

1. 그록4의 성능이 어느 정도인가? (다른 것은 모르겠고, 수능 영어 문제풀이 영역만 봤을 때)

2. 젠스파크를 통해서 사용하는 AI와 각 회사를 통해 사용하는 AI가 같을까? 다를까? (이게 갑자기 궁금하더라구요.)

이 두 가지 정도였는데, 나름 재미있는 결과값이 나왔습니다.

표를 보시면 아시겠지만, 정리를 하자면,

1. 그록4가 수능 문제 푸는 능력이 생각보다는 떨어진다.

2. 젠스파크를 통해서 사용하는 AI가 각 회사를 통해 사용하는 AI보다 성능이 아주 약간은 떨어지는 것 같은 느낌.

3. 젠스파크에서 챗지피티의 o3가 성능이 수능 문제 푸는 능력에서는 괜찮다.

4. 역시나 google ai stuido가 가성비로 정말 괜찮다.

5. AI가 순서, 삽입 문제에서 주로 틀리는구나.

정도입니다.

그리고 기타 몇 가지

· 최근 나온 그록4가 각종 수치에서 압도적인 성능을 보인다는 결과가 나왔습니다. 지금 제가 사용한 것은 젠스파크 내에서 사용한 것입니다. 그래서 혹시나 나중에 그록4 유료 구독하시는 분이 있다면 한 번 테스트해 주시면 정말 감사하겠습니다. 이게 궁금하네요. 그록4가 성능이 좋긴 한데, 수능에 약할 수도 있기 때문에 감안하시고 보셔야 합니다.

· o3 pro와 Gemini 2.5 pro의 경우에는 젠스파크 내에서 사용하는 AI의 성능이 동일하다고? 볼 수 있을 것 같습니다. 하지만 클로드는 이상하게 차이가 좀 난다고 여겨집니다. 그래서 일단 저는, 약간의 성능 차이가 있는 것 같은 느낌은 있으나, 좀 더 다양한 분야로 테스트는 해봐야 합니다. 계속 반복해서 언급하지만, 수능 영어에 한해서입니다.

· 수능 문제 풀이에서 틀린 문제 수가 가장 적은 것부터 순서대로 나열하면 아래와 같습니다.

G o3 pro(-3) > G Gemini 2.5 pro = Gemini 2.5 pro (-5)> G MOA(-7) > Claude Sonnet4(-8) > G Grok4(-9) > C Claude Opus4 = G Claude Sonnet4(-10)>

즉, 각 모델별로 수능 한 회 분 풀었다면(30번대 이긴 합니다만)

G o3 pro은 평균 1문제,

G Gemini 2.5 pro = Gemini 2.5 pro는 평균 1.6문제,

G MOA는 평균 2.3문제,

Claude Sonnet4는 평균 2.6문제

G Grok4는 평균 3문제,

C Claude Opus4 = G Claude Sonnet4는 평균 3.3 문제를 틀린 것입니다.

(개인적으로는 o3 pro와 Geminie 2.5 pro가 안정적이라고 생각합니다.)

· 다음은 시간을 한 번 보겠습니다.

편차가 좀 있긴 하지만, 대략적으로 보면, 평균적으로는 1분~2분 사이였습니다. 그런데 o3 pro를 보시면 압도적으로 시간이 깁니다. 6분에서 11분대까지입니다. 다른 것에 비해서 정말 눈에 띄게 많이 소요가 됩니다. 그래서 정확도가 높은 것인지는 모르겠습니다.

이 두 가지를 같이 봤을 때는

저는 구글 제미나이 2.5 프로가 상당히 인상적입니다.

시간은 1~2분으로 다른 것과 차이가 없는데, 성능은 2등으로 상위권입니다. 그리고 ChatGPT o3 pro는 유료 구독을 해야 사용할 수 있고 구글 제미나이 프로는 Google AI Studio에서 무료로 사용할 수 있습니다. 이 세 가지를 감안하면 저는 압도적으로 구글 제미나이 2.5 프로를 추천할 수밖에 없는 것 같습니다.

· AI가 이제 빈칸 문제는 전혀 문제가 없는 것 같습니다. 초기에는 빈칸 문제도 오락가락하고 틀린 경우가 많았는데, 이 결과를 보면 빈칸 문제는.... 이제 끝난 것 같습니다. 다만 순서, 삽입 문제는 다 약한 것 같습니다. 이쪽만 더 보완되면 AI가 수능은 크게 틀리지 않을 것 같습니다. 아마.... 내년쯤이면 거의 가능하지 않을까 싶습니다. ^^;;;

지금까지 제 개인적인 호기심으로 출발한 AI별(챗지피티, 클로드, 제미나이, 그록 등) 수능 영어 문제에 대한 성능 비교입니다.

AI의 전체 능력에 대한 성능 비교가 아닙니다. 이점 유의하시고 위의 내용을 이해를 해주셔야 합니다.

개인적으로는 코딩은 클로드를 선호하고, 문제 풀이나 설명은 제미나이 2.5 프로와 챗지피티 o3 프로를 참고하는 편입니다.

각 회사마다 장점이 다릅니다. 그래서 그것을 먼저 파악하시고 사용하시는 것이 좋겠습니다.

나쁜 것이 있는 것이 있는 게 아니라, 현명하게 사용할 필요가 있다는 것입니다. ^^a

영어 자료를 AI를 이용해서 사용하실 때 조금이라도 도움이 되었으면 좋겠습니다.

그리고 저도 AI를 깊게 사용하는 것은 아니고, 한정적인 영역에서만 조금 사용하고 있는 상황입니다. 부족한 점이 많이 있을 겁니다. 그러니 부족한 부분은 너그러이 이해해 주시고, 수정할 언급해 주시면 감사하겠습니다. 기타 의견이나, 다른 좋은 사용방법, 다른 추천 내용이 있다면 서로 공유해 주시면 정말 감사합니다.

좋은 하루 되세요. ^^