오년삼촌 (115.♡.156.11)
2025년 9월 25일 PM 12:26 · 수정됨(12:42)
저는 qwen-code cli 랑 ollama 를 연동해서 쓰고 싶었는데 잘 안돼요.... lm studio 는 잘 된다길래 둘 사이의 차이에 대해 분석을 시작했어요.
1. 2개 다 "완전히 같은" model 을 사용. 혹시 몰라 lm studio 에 사용된 허깅페이스 gguf 를 ollama 에 사용했다.
2. 똑같은 qwen-code cli 를 사용.
3. hello 하나를 전송했을때 당연히 서버로는 같은 전문이 전송된다.
4. lm studio 는 hello 를 답변해야할 인사? 로 인식하지만, ollama 는 hello 라는 string 으로 인식한다.(어?)
5. 그리고 2개 사이에 반응도 다르다. lm studio 는 스트림으로 응답하는데 ollama 는 http JSON 으로 반환한다.
이상의 내용을 위해 중간을 추적할 수 있는 서버를 간단하게(시작할때는)만들고,
1. from client to broker
2. from broker to server
3. from server to broker
4. from broker to client
이 4가지의 log 를 추적할 수 있는 서버를 만들어서 각 구간별 로그 추적 및 비교를 시작했어요. 한참 작업하던 와중에 슬슬 파이션으로는 한계가 온다 싶어서... 구조 변경으로 안쪽을 엎기 전에 c 프로젝트로 변환중이에요.
............아.. 내가 원래 뭘 할려고 했었지?... 슬슬 정신이 혼미해 지는 느낌이 들어요.. 제가 뭘 하고 있는지를 모르겠어요... 제가 뭘 할려고 했는지.. 이게 이렇게까지 삽풀일인가 싶어 조금 우울해요.. T.T
댓글 (9)
-
레레오야사랑해
25.09.25 · 211.♡.113.108
-
오오년삼촌
→ 레오야사랑해 작성자
25.09.25 · 115.♡.156.11
저도 제가 뭘 하는지를 모르겠... -
순순후추
25.09.25 · 223.♡.54.68
와 프로그래머!!! -
오오년삼촌
→ 순후추 작성자
25.09.25 · 115.♡.156.11
프로그래밍은 claude code 가 합니다..@.@; -
코코믹샌즈
25.09.25 · 106.♡.131.116
이해하기 쉽게 잘 풀어 써주셔서 고맙습니다.
...
ㅠㅠ -
오오년삼촌
→ 코믹샌즈 작성자
25.09.25 · 115.♡.156.11
최대한 노력한겁니다...(어흑) -
휘휘소
25.09.25 · 121.♡.21.222
올라마가 이상한겁니다 ㅠㅠㅠ -
SStarMix
25.09.25 · 106.♡.198.24
올라마가 api기반으로 응답하니
json 리턴이 당연한거 아닌가요??
컨텍스트 호출할때 hello 요청을 뭘로 하셨는지에 따라 다를거 같은데 chat 으로 하면 응답할거 같은데 모드를 안주셨거나 다르게 하신듯 합니다. ?? -
오오년삼촌
→ StarMix 작성자
25.09.25 · 115.♡.156.11
어.. lm studio 도 openai api 방식으로 호출하는 중입니다. 아마도 lm studio 에서 뭔가 model 에 선행 프롬프트를 날리는듯 싶은데.. 그걸 추적할 수 있는 방법은 없으니까요....
qwen-code cli 를 통해서
1. to lm studio openai api
2. to ollama openai api
이렇게 추적해서 차이점을 추적하고 있습니다. api 인터페이스와 client 는 동일하다는 얘기죠. 지금까지의 중간 결론은 lm studio 에서 뭔가 중간처리를 해주고있다.. 라고 생각되기는 하네요.. ^.^;
댓글을 작성하려면 이 필요합니다.
아 그렇군요...