저는 주로 문서구조를 다듬거나 어떤 주장의 논리구조에 문제가 있는지 점검하거나 새로운 아이디어를 위한 자극을 받고 더 발전시키기 위해 Gemini 와 ChatGPT 를 사용합니다.

주로 Gemini 2.5 Pro 를 썼었고, 이번에 GPT-5 가 나온 김에 똑같이 두 개를 써보면서 비교를 해봤는데요.

일단 제가 쓰는 수준에서는 차이점이라고 할 만한게 없었네요.

둘 다 똑똑하고 프롬프트를 어떻게 주느냐에 따라 더 스마트한 답변도 받을 수 있음을 확인했습니다.

주로, 상대방 LLM 들에게 프롬프트를 다듬어달라고 한 다음 다른 LLM 에게 다듬어진 프롬프트를 던져줘서 더 나은 결과가 나오는 것도 확인했고요.

GPT-5 와 GPT-5 Thinking 중에서 일부러 GPT-5 를 선택해서 비교했었는데, 이 정도로만 해도 Gemini 2.5 Pro 로 동등한 답변이 나옴을 체감했습니다.

아마 GPT-5 에 대한 평이 안좋은 부분들은 코딩을 한다거나 검색이 필요하거나 최신 정보가 필요한 경우 혹은 PDF 문서를 주고 요약을 하라거나 그리고, 이전에 구축해둔 프롬프트를 적용했을 때 다른 양상의 답변을 한다는 등의 상황이었지 않았을까 싶네요.

저는 이번에는 짧은 컨텍스트에 대해 논리적인 면을 테스트한 것이라 차이점을 느끼지 못했다고 생각합니다.

서로에게 가장 어려운 문제를 내게 하고 이를 다른 LLM 에게 풀어보게 해서 그 풀이를 문제를 낸 LLM 에게 주고서 평가해보라고 하면 아주 사소한 부분빼고 좋다고 하는데, 그 사소한 부분도 다시 풀이를 한 LLM 에게 전달하면 대체로 수긍하면서 더 좋은 답변이 될 수 있다고 얘기하네요.

조금 더 조금 더 나은 결과를 얻어내고자 한다면 번갈아가며 경쟁을 시키는 것도 방법이겠습니다.

한 가지 차이점으로 뽑을 만한 건 응답속도였습니다.

Gemini 2.5 Pro 는 제 질문에 거의 항상 추론을 하면서 시간을 썼는데, GPT-5 는 거의 추론시간을 쓰지 않더군요.

그러면서도 상당히 양질의 답변을 해냈는데 이건 꽤 만족스러웠습니다.

일단 GPT-5 도 조금씩 개선되고 있고 머지 않아 Gemini 3.0 이 출시된다는 점을 볼 때 올해 말의 최종 SOTA 가 어느 AI 가 될 것인지는 알 수 없지만, 지금으로써는 제대로 쓰려고 한다면 두 AI 모두 쓰면서 비교해보는 것이 좋지 않나 싶네요.
Gemini 는 Deep Research 가 너무나도 만족스러운데 반해 GPT 는 조금 미흡했기도 했고, 시간을 더 투자한다면 GPT-5 Thinking 을 쓰는 이득도 있기 때문에 당분간은 두 개 서비스를 동시에 쓰는 형태가 될 거 같습니다.