기존 유료 이용자분들이라면 아시겠지만 이전까지의 최신버전이던 GPT 4 Turbo 조차도 속도면에서 답답한 면이 있었습니다. 비교적 짧은 몇문장조차도 대답하는데 두 자리의 단위의 초가 걸리는 경우도 흔했고 조금 길거나 복잡한 대답을 하기 위해서 분 단위의 시간이 걸리는 경우도 있었죠. 특히나 사용자가 많거나 너무 답변이 느려지면 스스로 대답하다가 오류를 뿜기도 했구요.

근데 지금 4o버전은 예전에 수십초가 걸렸을법한 답변도 거진 2-3초 내로 대답하네요; 공식적인 발표로는 5배정도 빨라졌다고하지만 체감상으로는 거진 10배는 빨라진 느낌입니다. 더 대단한건 이 모델이 지금 무료로 풀려서 이용자수가 갑작스럽게 늘었을텐데도 이런 속도가 나온다는거죠.

확실히 이런면에서 OpenAI가 다른 곳들보다 앞서간다는 느낌이 드네요. 다른 회사들은 깡성능을 늘리거나 모델 최소화로 최적화를 시도하고 있는데 실질적으로 우리가 사용하기 편하고 실용적인 방식으로 AI서비스를 개발할 뿐 아니라 꾸준하게 성능적인 변화를 이루는 것은 OpenAI 밖에 없는 것 같습니다. 

앞으로 실시간 음성/비디오 채팅에 더불어 이러한 서비스가 기존의 서비스들과 제대로 인터렉션하는 수준까지 오게 되면 좋겠네요. 진정한 의미의 개인 비서 시대를 기대해봅니다.