AI 개발 보조 도구 경험 공유 (2편)

현재 사용 중인 AI 도구

• ChatGPT Plus + Codex CLI
• Claude Max ($200)
• Perplexity Pro (나무증권 이벤트로 무료 획득)
• Gemini Pro (학교 이메일로 무료 사용)

프로젝트 진행 상황

• ChatGPT 기반 프로젝트 → 중단
• Codex CLI 전환 → 포기
• Claude Max 결제 ($200) → 현재 진행 중

Claude Max 사용 시 주요 문제점

• 거짓 정보 제공: CLAUDE.md 가이드라인과 대응책 활용해도 허위 거짓 보고 재발
• 허위 완료 보고: 작업 완료 주장 후 추궁하면 거짓말 인정
• 문서 품질 불균형: 상세한 문서 제공하지만 실제 구현은 가짜
• 모의 구현: 실제 작업이 아닌 Dummy, Fake, Simulation 로 작업 해두고 실제 구현이라고 허위 보고
• 맥락 유지 부족: 대화 Continue/Resume 기능에도 메모리 휘발성 강함
• 세분화 실패: Task를 잘게 나눠도 기만적 개발 지속
• 모델 문제: Opus 사용해도 신뢰도 낮음

추가 관찰 사항

• Claude의 비효율적 작업으로 시간 낭비 발생
• 개입해도 개선되지 않는 문제를 Gemini CLI로 즉시 교정 가능
• 의도적 시간 지연 의심 및 토큰 낭비 우려로 신뢰도 하락
• Claude GitHub에도 유사 이슈 다수 보고되었으나 해결책 부재

결론

• 현재 AI 기술로는 개발자 대체 불가능, 그냥 신입에 똘똘한듯하지만 상환 모면만 잘하는 그런류
• 작은 Task 처리에 보조적 활용 가능하나 인간 리뷰 필수
• Gemini는 사용성 제약에도 근본적 문제 해결력 우수 (Ultra 구독 고려 중)
• Claude Max + Gemini Pro 병행으로 제한적 진행 중
• Codex는 허위 작업 및 완료 보고 경향 - 추가 테스트 필요

일단 여기까지, 위 정리는 Notion AI로 축약했습니다 ㅎ

암튼, 일처리 지원 형식이지만 반드시 인간의 리뷰로 허위,거짓이 있는지 검증을 해야합니다.

왜 이런 문제가 되고 있는지 짐작은 가지만 확신이 없어서 일단은 해당 내용은 제거 했습니다.

Claude 가 요즘 Max써도 제한을 두는데 굉장히 실망이네요.

제 생각에는 위와 같은 가짜 작업으로 인해 재 작업하느라 더 많은 시간을 Claude AI Farm을 써야한다는 사실을 인지하길

​

지금은 더 세부적으로 Taks를 쪼개고 쪼개서 아주 소량씩 확인 해가고 있네요.

E2E 테스트도 하도록 만들었는데 그것마져 하드코딩된 시뮬레이션 값을 리턴하게해서 100% 통과라고 거짓 보고를

p.s) 점점 AI 구라 판독기가 되어가는듯. 나지는 다음편에서.