KingFisher (39.♡.176.227)
2025년 9월 18일 PM 07:35 · 수정됨(09. 19. 14:03)
오늘부로 Claude MAX 200$ 요금제가 종료되었습니다.
오늘 보니 Codex에도 GPT5-Codex가 새로 생겨서 짧게 테스트해보았고,
Gemini는 2.5 Pro로 테스트하다가 요금 폭탄을 맞는 등 여러 경험이 있었네요.
각설하고, 개인적 경험이니 특정 AI 서비스를 나쁘게 평가하거나 하는 건 아니고
나의 돈으로 쓰고 느낀 체험기 정도로 봐주세요.
- Claude Code MAX 200$ 사용 소감
- 주요 문제점
- 가짜 개발이 심각함 (Mock, Placeholder, Fake, Todo, Fix Me..)
- 처음에는 껍데기를 먼저 만들고 나중에 실제 구현하겠다고 하지만, 결국 그대로 방치됨
- 상세한 문서를 제공해도 읽지 않거나 무시함
- CLAUDE.md에 중요 규칙을 10줄 이내로 간결하게 작성해도 무시함
- 대화 맥락을 유지하는 듯하다가 갑자기 무시하고 자기 마음대로 행동함
- Claude의 Thinking 내용을 보면 자의적인 판단으로 행동하는 것이 확실히 드러남
- UnitTest와 E2E 테스트를 만들어 단속했지만, 계속 실패하는 코드를 삭제하고도 완료했다고 보고함
- 8월 중순부터 사용했는데 시간이 갈수록 품질이 떨어짐
- 8월 말에는 일방적으로 제한을 두어 작업 중인 Task가 중단되는 불편함을 겪음
- Opus가 만능은 아니어서, 잘 해결하는 문제도 있지만 혼자 열심히 작업하다가 맥락을 잃어버리기도 함
- 문제가 생기면 기능을 비 활성화하거나, 수정을 요청하면 해당 부분이 잘못됐다고 주장하기도..
- 이 외에도 레딧에서 언급되는 다양한 문제들이 발생함
- 자체 대응 작업들
- CLAUDE.md를 읽는다고 했지만, 길게 작성해도 짧게 작성해도 여전히 임의로 행동함
- 초보 개발자 수준으로 상세한 TODO 문서와 테스트 검증 방법을 제공해도 임의로 행동함
- 모든 프롬프트에 지켜야 할 규칙을 포함 시켜도 임의로 행동함
- 자체 제작한 감시 및 감사 시스템을 만들어 가짜 구현을 찾아내자
- 처음에는 시스템 문제라고 반발하다가 반박 후에야 실제 구현함.
- 그러나 시간이 지나면 다시 회피 전략을 구사함
- 회피해보려 별짓을 다함, rm 하는 게 충격적 .... 정말 입에서 썅욕이..
- 덕분에 허접하게 만든 감시 감사 시스템이 엄청 견고해짐 ㅋㅋㅋ
- Claude 에서도 뭔가 계속 교정했다, 모니터링 중이다 하지만 제 느낌은 점점 심해짐..
- 주요 문제점
- Gemini
- Claude가 해결하지 못하거나 시간을 끄는 문제를 빠르게 해결하는 모습에 놀람
- 특정 프로젝트 똑같은 문서 기준으로 Claude랑 경쟁 시키고, 각자 리뷰 했더니
- Gemini 70%넘는 실 구현 (Claude, Codex 평가)
- Claude 30%대 실 구현 , 나머지 다 Todo, Placeholder (Codex, Gemini 평가)
- 중요한 건 Gemini는 부족하지만 그래도 요구 사항을 모두 구현함(yolo!!!)
- Gemini는 임의 판단을 최소화한 듯, 작업 중 오류가 계속 발생하면 바로 포기 선언함
- 전문가를 찾아야 한다며 책임을 회피하지만, 직접 고쳐주니 다음 작업은 잘 진행함
- 가격 정책이 최악임. Pro 계정임에도 예상치 못한 요금 폭탄을 맞아 당황스러웠음 (내 돈...)
- 2.5-flash 도 쓸만함, Pro 로 검토하고 TODO만들고, flash로 코딩하면 딱임
- 다만 아직 API Error 나 Loop Detect로 인한 중단이 빈번하게 발생할 수 있음
- 고치고 있다고 하는데 한달 간 고쳐지지 않음
- Codex GPT5와 GPT5-codex
- GPT5 버전은 특별히 사용할 가치가 있을 정도의 품질이 아니어서 스킵함
- GPT5-codex를 사용해보니 Medium 설정에서도 Shell Script 검증에 10분 이상 소요되어 중단함
- GPT5-codex Low 설정에서도 작업 지연이 심각함. 공식 설명으로는 정밀 분석 때문이라고 함
- 비용 정책이 명확하지 않음. 레딧에서도 갑작스러운 청구 사례가 보고됨
- 아직은 지켜봐야 하지만, 이전 모델보다 GPT5-codex가 확실히 개선된 것은 사실임
- Qodo
- 무료라고 해서 테스트 중인데 품질이 심각하게 낮음
- 데이터베이스(Sqlite) 초기화를 요청했더니 불 필요하게 시간을 끌며 스크립트만 작성함
- 직접 실행하고 오류 수정을 요청했더니 또 다시 새 스크립트를 작성함
- 지금도 계속 반복적으로 스크립트만 생성하고 있음. 실행하랬더니 오류나니 또 새로 스크립트 만듬 ㅎㅎ
주변에서도 Claude Code의 문제점을 많이 언급하시더군요.
대안을 찾아보려 해도 현재로서는 Codex가 가장 유력해 보이지만, 아직 설 익은 면이 많네요..
(좀 더 체크는 해볼 요량이지만 무한루프 수준으로 빠지는 걸 목격하니, 불안감이..)
어찌 되었든 현재 Claude 대안이 마땅하게 없는 듯......
혹시 있으면 댓글 좀 주세요.. 한 달 정도 200$ 더 써볼 생각 있음
댓글 (19)
-
마마이너스아이
25.09.18 · 61.♡.139.51
-
KKingFisher
→ 마이너스아이 작성자
25.09.18 · 39.♡.176.227
딱 그 정도만 쓰면 괜찮습니다. 저는 프로젝트를 오로지 맡겨 본 거라.
저의 개입을 초기에는 적게 점점 시간이 갈수록 엄청난 개입이 이루어지니 저도 지치더라구요. - 눈
눈팅이취미
25.09.18 · 182.♡.218.38
제미나이 유료화 해도 요금폭탄을 맞는건가요?? GPT처럼 정액제가 아닌걸까요? ㄷㄷㄷㄷㄷ -
Llazyzeus
→ 눈팅이취미
25.09.18 · 223.♡.86.188
저도 이게 궁금하네요. api key 세팅해 놓지 않으면 좀 하다가 보통 gemini 2.5 flash로 바꿔버리거든요. api key 세팅할 때만 사용량에 따라서 내는 걸로 알고 있습니다. -
KKingFisher
→ 눈팅이취미 작성자
25.09.18 · 39.♡.176.227
브라우저로 하는 oAuth 인증이 아니라, API일때 난대없이 과금됩니다.
이것도 좀 웃기는 사건인데, Gemini 에게 물어보고 그래도 셋팅 했거든요.
그랬더니 요금 폭탄 ㅎㅎㅎ 그냥 로그인만 쓰시면 그 계정 내에서 한도 걸립니다.
gemini cli를 gemini에게 물어봤다가 낚였죠 ㅎㅎㅎ -
갤갤럭시안
25.09.18 · 106.♡.142.42
옆 동료에게 일 맡기고 코드 리뷰한다는 식으로 접근하고 있습니다.
완벽하진 않더라구요. -
KKingFisher
→ 갤럭시안 작성자
25.09.18 · 39.♡.176.227
200$ max 요금제가 Unlimit 수준이네 해서
시작한거라 한번 다양한 프로젝트를 맡겨 보자로 시작한 겁니다.
결과는 참담하지만 ... 님이 말씀하신 데로, 딱 그렇게 해야 가능 합니다.
"보조" 만으로 유용하게 써먹을 수는 있을 수준은 아닌가 싶습니다. -
Jjunja91
25.09.18 · 192.♡.96.218
Claude code 에 대한 평가에 매우 공감합니다. 특히, "처음에는 껍데기를 먼저 만들고 나중에 실제 구현하겠다고 하지만, 결국 그대로 방치됨" 이것하고, "대화 맥락을 유지하는 듯하다가 갑자기 무시하고 자기 마음대로 행동함" 이 두 가지를 만나면 아주 사람 미칩니다.
컨텍스트를 벗어나면 다시는 되돌아가지 못하더군요. 결국, 깃헙에 계속 백업하면서 일 시킵니다.
저는 100불 플랜을 주로 썼는데, Opus 를 다 쓰고 Sonnet 으로 스위칭되는 순간, 전혀 성격 다른 두 사람이 교대하는 것처럼 일을 접근하는데, 마치 다중인격자 같습니다. -
KKingFisher
→ junja91 작성자
25.09.18 · 39.♡.176.227
누가 그러더 군요. Senior 개발자가 작업하다 Junior가 작업 이어 받은 느낌?
Max 요금제를 써도 Opus 가 거의 잠시 쓰는 수준이라 Sonnet으로 작업하다 뻘짓 하거나, 계속 오류내면 잠시 선수 교체 시키는 식으로 아껴 썼습니다 ~^^ -
시시커먼사각
25.09.18 · 49.♡.218.16
제미나이만 간단하게 테스트해보고 있는데 여전히 제멋대로 하는 짓이 가끔 나타납니다
댓글을 작성하려면 이 필요합니다.
크라우드 코드가 제일 나아요.
일 잘시키면 일 잘합니다.
하지만 저는 뼈대만 일 시킨다 생각하고 단순하고 긴 코드를 대신 만들어 주는 것 만으로도 만족 합니다.
저는 기본 요금제만 쓸 생각 입니다.