하다보면 실패하는 ollama-code cli 세팅... 이라는 내용으로 실패 경험담을 정리해 봤습니다. 아래는 해당 문서의 gpt 요약본입니다. 혹시 비슷한 삽질을 하시려는 분들께 참고가 되었으면 합니다. 해당 문서는 pdf 로 이 글에 첨부되어 있습니다.

====================

# 업로드한 문서를 요약해주세요.

문서는 로컬 AI 개발·창작 환경을 목표로 한 Docker 기반 스택(Ollama, Open WebUI, LiteLLM, ComfyUI)과 CLI 도구 연동 시도(Continue CLI, Qwen CLI, Claude Code)의 시행착오를 기록한 기술 회고다. 핵심 결론은 현재 CLI 자동화는 LM Studio 계열과 비교적 호환되지만 Ollama·Open WebUI 조합과의 호환성은 미흡하며, Open WebUI–ComfyUI 연동은 성공했다는 점이다.[^1]

### 목표와 환경

목표는 Claude Code 스타일의 CLI 작업 흐름, Open WebUI 기반 대화형 인터페이스, ComfyUI 이미지 워크플로, TTS 연계를 하나의 로컬 스택으로 구축하는 것이다. 환경은 Linux 호스트에 Docker로 Ollama, Open WebUI, LiteLLM, ComfyUI를 구성하고, GPU는 GeForce RTX 4060 Ti 2장과 Intel ARC A770을 조합해 사용한다.[^1]

### 진행 경과

초기에는 Ollama+Open WebUI 통합 컨테이너로 시작했으나 gpt-oss 등장 이후 Ollama 업데이트 추종 문제가 드러나 분리 컨테이너 방식으로 전환했다. Perplexity를 1년 무료로 사용하며 AI 활용 자신감을 얻었고, Claude Code로 텔넷 기반 기능을 기존 웹 서비스에 추가하는 프로젝트를 5일 만에 동작 상태로 완수했다.[^1]

### 도구 연동 결과

- Continue CLI + Ollama: 응답은 오지만 에러로 처리되어 실사용 곤란하다.[^1]

- Continue CLI + Open WebUI: 응답을 정상 해석하지 못해 실패한다.[^1]

- Continue CLI + LiteLLM: 대화는 되나 응답이 그대로 JSON으로 출력되며 도구 호출·파일 접근이 불가에 가깝다.[^1]

- Qwen CLI + LiteLLM: 동일하게 JSON 응답으로 실사용성이 낮다.[^1]

- Qwen CLI + Open WebUI: 프로토콜 상호운용이 맞지 않아 동작하지 않는다.[^1]

- VSCode용 Continue(플러그인) + Open WebUI: 같은 설정 파일을 공유할 수 있고 동작은 되나, CLI와는 결과가 달라 혼선을 준다.[^1]

- 정리: CLI 계열은 LM Studio 기반이면 유리하고, 상용 AI 또는 LM Studio 구동 모델과는 호환되지만 Ollama와의 조합에서는 제약이 크다.[^1]

### Open WebUI–ComfyUI–TTS

Open WebUI와 ComfyUI 연동은 성공했으며, Open WebUI에서 제공하는 OpenAI API 호환 기능과 커뮤니티 안내를 통해 연결이 가능했다. ComfyUI는 GGUF 사용 시 추론 시간이 단축되는 체감이 있었고, 외부 워크플로 복사로 진입장벽을 낮출 수 있었다.[^1]

### 현 상황과 선택지

LM Studio + LiteLLM + Open WebUI 조합은 CLI 측면에서 가능성이 있으나 Open WebUI가 LM Studio를 OpenAI API 방식으로만 붙이면 모델 전환의 유연성이 떨어진다. LM Studio와 Ollama를 동시 운용하는 것은 역할 중복과 GPU 리소스 제약으로 비효율적이며, 실사용 대안으로는 VSCode-Continue 중심 전략이 현실적이다.[^1]

### 남은 과제

CLI는 잠정 보류하고 VSCode-Continue 위주로 안정화하며, Open WebUI–ComfyUI–TTS는 실제 워크플로에서 품질·성능을 검증해야 한다. 그동안의 스크립트와 설정 자료, 운용 팁을 정리해 재현성과 유지보수성을 높이는 작업이 필요하다.[^1]

### 주의사항

ComfyUI는 모델을 주기억장치에 적재하므로 GGUF·safetensors 모델 크기를 고려해 충분한 시스템 메모리를 확보해 메모리 스와핑을 피해야 한다. 듀얼 NVIDIA 구성 시 메인보드의 PCIe 레인 배치로 한 장의 카드가 낮은 대역폭으로 동작하면 전체 성능 병목이 발생할 수 있다. Intel ARC는 가격 대비 VRAM 이점이 있으나 Linux에서의 펌웨어 업데이트 제약이 있어 Windows에서 갱신 후 사용하는 것을 권한다.[^1]