저.. 이상한 데로 가고 있는거같아요...
오년삼촌

Lv.1 오년삼촌 (115.♡.156.11)

2025년 9월 25일 PM 12:26 · 수정됨(12:42)

조회 956 공감 0

저는 qwen-code cli 랑 ollama 를 연동해서 쓰고 싶었는데 잘 안돼요.... lm studio 는 잘 된다길래 둘 사이의 차이에 대해 분석을 시작했어요.


1. 2개 다 "완전히 같은" model 을 사용. 혹시 몰라 lm studio 에 사용된 허깅페이스 gguf 를 ollama 에 사용했다.

2. 똑같은 qwen-code cli 를 사용.

3. hello 하나를 전송했을때 당연히 서버로는 같은 전문이 전송된다.

4. lm studio 는 hello 를 답변해야할 인사? 로 인식하지만, ollama 는 hello 라는 string 으로 인식한다.(어?)

5. 그리고 2개 사이에 반응도 다르다. lm studio 는 스트림으로 응답하는데 ollama 는 http JSON 으로 반환한다.


이상의 내용을 위해 중간을 추적할 수 있는 서버를 간단하게(시작할때는)만들고,


1. from client to broker

2. from broker to server

3. from server to broker

4. from broker to client


이 4가지의 log 를 추적할 수 있는 서버를 만들어서 각 구간별 로그 추적 및 비교를 시작했어요. 한참 작업하던 와중에 슬슬 파이션으로는 한계가 온다 싶어서... 구조 변경으로 안쪽을 엎기 전에 c 프로젝트로 변환중이에요.


............아.. 내가 원래 뭘 할려고 했었지?... 슬슬 정신이 혼미해 지는 느낌이 들어요.. 제가 뭘 하고 있는지를 모르겠어요... 제가 뭘 할려고 했는지.. 이게 이렇게까지 삽풀일인가 싶어 조금 우울해요.. T.T

댓글 (9)

  • 레오야사랑해

    레오야사랑해 Lv.1

    25.09.25 · 211.♡.113.108

    {emo:damoang-meme-72.webp:150}
    아 그렇군요...
  • 오년삼촌

    오년삼촌 Lv.1 → 레오야사랑해 작성자

    25.09.25 · 115.♡.156.11

    저도 제가 뭘 하는지를 모르겠...
  • 순후추

    순후추 Lv.1

    25.09.25 · 223.♡.54.68

    와 프로그래머!!!
  • 오년삼촌

    오년삼촌 Lv.1 → 순후추 작성자

    25.09.25 · 115.♡.156.11

    프로그래밍은 claude code 가 합니다..@.@;
  • 코믹샌즈

    코믹샌즈 Lv.1

    25.09.25 · 106.♡.131.116

    이해하기 쉽게 잘 풀어 써주셔서 고맙습니다.

    ...

    ㅠㅠ
  • 오년삼촌

    오년삼촌 Lv.1 → 코믹샌즈 작성자

    25.09.25 · 115.♡.156.11

    최대한 노력한겁니다...(어흑)
  • 휘소

    휘소 Lv.1

    25.09.25 · 121.♡.21.222

    올라마가 이상한겁니다 ㅠㅠㅠ
  • StarMix

    StarMix Lv.1

    25.09.25 · 106.♡.198.24

    올라마가 api기반으로 응답하니
    json 리턴이 당연한거 아닌가요??
    컨텍스트 호출할때 hello 요청을 뭘로 하셨는지에 따라 다를거 같은데 chat 으로 하면 응답할거 같은데 모드를 안주셨거나 다르게 하신듯 합니다. ??
  • 오년삼촌

    오년삼촌 Lv.1 → StarMix 작성자

    25.09.25 · 115.♡.156.11

    어.. lm studio 도 openai api 방식으로 호출하는 중입니다. 아마도 lm studio 에서 뭔가 model 에 선행 프롬프트를 날리는듯 싶은데.. 그걸 추적할 수 있는 방법은 없으니까요....

    qwen-code cli 를 통해서

    1. to lm studio openai api
    2. to ollama openai api

    이렇게 추적해서 차이점을 추적하고 있습니다. api 인터페이스와 client 는 동일하다는 얘기죠. 지금까지의 중간 결론은 lm studio 에서 뭔가 중간처리를 해주고있다.. 라고 생각되기는 하네요.. ^.^;

댓글을 작성하려면 이 필요합니다.