오늘 하루 간단하게(??) 해보니...

1. ollama+litellm 에서 tool 을 지원하지 않는 tools 관련된 처리를 할 수는 있다.

2. 그리고 반환값을 tool 을 사용하는데 적합하도록 json 타입이 반환하게 할 수도 있다.

3. 그런데 litellm 에서 tool 형식으로 반환한다고 해도, agent 에서 해당되는 tool 을 처리할 수 있는 분기? 또는 처리 알고리즘? 이 없으면 agent 는 이걸 그냥 json 으로 보여주게 된다. 결과적으로 코딩에 도움되는 tool key 로 반환값을 주지 않으면 누군가가 그 일을 해야하는데 litellm 은 그정도까지는 되지 않는다.

4. agent 도 똑똑해야 하는게, backend 에 어떻게 요청을 보낼지는 agent 의 알고리즘이니까.

continue 에서 ollama backend 를 곧장 지원하는듯 하여 일을 잠시 시켜봤습니다.

* "현재 디렉터리의 파일을 분석해서 역할을 알려줘"

* "지금 프로젝트에 맞는 Makefile 을 생성해줘"

* "작성한 Makefile 파일을 저장까지 해주세요."

그런데 여기서 걸리더라구요...

"compile 오류를 수정해주세요."

이렇게 하면 model 이 못 알아듣는거죠.. 그래서.

"make 를 진행하고 발생하는 오류를 수정해주세요"

라고 하면 대충.. 돌기는 돕니다.... claude code 처럼 일을 잘 하지는 못하지만....(이것도 복잡한걸 시키면

"{"error": {"type": "invalidrequesterror", "message": "Operation not allowed"}}"

이런 내용을 밷어버립니다. 아마도 context 의 한계같기도 하고....

일단 continue cli 에도 각종 설정은 있는듯 싶고(아직 con-cli 가 update 되지는 않았지만) 결과적으로 model + 전처리 컨테이너? + agent 셋의 궁합이 맞지 않으면 당분간 local LLM 으로는 좀 한계가 있을듯 싶어요.

비전문적인... 가벼운 프로젝트로 테스트는 좀 더 해봐야곘지만, 그나마 ollama + danielsheep/Qwen3-Coder-30B-A3B-Instruct-1M-Unsloth:UD-Q5_K_XL + continue cli 정도가 되면.. 좀 부족하나마 사람이 쓸 수 있는 뭔가의 조합은 되는거 같습니다(3주전의 테스트로는 몹쓸 쓰레기였는데.. 이 정도는.. 그나마 대화는 가능하다는 느낌입니다 ㅋㅋ)

새삼 claude code 가 대단해 보이는군요.. 대충 던져도 일 정말 잘하는 거였네요.. 쓰으읍.