11

추가 메뉴

AD
다모앙 마을 만들기 ♡ 다모앙 후원하기
♡ 후원하기 · 벽돌한장 · 광고 제거
Local LLM 환경을 꾸리고 싶은데 영 ROI 가 안나오네요~
S

Lv.1 SassyBrain (211.♡.99.232)

2025년 9월 17일 PM 05:23 · 수정됨(22:47)

조회 660 공감 0

나름 좋다는 GPT OSS 20b 를 가지고 이것 저것 해보는데..

간단한 질문들은 잘 대답을 하는데 

코딩쪽이나 MCP 돌려보면 GPT API 하고 차이 가 많이 납니다.


PlantUML 그려달라고 하면 GPS OSS는 에러나는 코드를 만들어 주고, Playwright MCP 로 뭣좀 시켜보면 중간에 막혀서 같은 URL 만 반복 접속 하다 포기 하네요? ㅋㅋㅋ


반면에 GPT API 를 통해 GPT-5 mini 로 똑같은걸 시켜보면 완벽하게 수행 합니다.


GPT-5 mini  정도면 10달러만 결제해도 한참을 쓰는데..

Local LLM 을 위해 비싼 컴퓨터 살 이유가 없네요...


AI MAX 395 라는놈이 그렇게 좋다길래 이놈을 지를까 고민하다 여기서 마무리 합니다. ㅡㅡ;;

댓글 (8)

  • DINKIssTyle

    DINKIssTyle Lv.1

    25.09.17 · 61.♡.73.102

    GPT OSS 120b도 GPT 3.0~3.5 수준 아닌던가 싶네요~
  • S

    SassyBrain Lv.1 → DINKIssTyle 작성자

    25.09.17 · 211.♡.99.232

    여기 저기 찾아 보니 120b 도 좋아봤자 Local LLM 이라는 것 같더라고요... 기대가 컸는데 실망입니다.
  • DINKIssTyle

    DINKIssTyle Lv.1 → SassyBrain

    25.09.17 · 61.♡.73.102

    복잡한 코딩까지는 모르겠지만... Mistral Small 3.2나 Qwen3 30B A3B 도 돌려보셔용~
  • S

    SassyBrain Lv.1 → DINKIssTyle 작성자

    25.09.17 · 211.♡.99.232

    네 말씀하신 모델도 한번 확인해 보겠습니다.
  • 마을이

    마을이 Lv.1

    25.09.17 · 211.♡.142.136

    Local LLM 은 데이터 유출때문에 쓰려고 하는 것이라
    보안과 성능은 반비례할 수 밖에 없겠더군요.
  • S

    SassyBrain Lv.1 → 마을이 작성자

    25.09.17 · 211.♡.99.232

    그르게요 뭔가 어쩔 수 없는 사정이 있지 않는한 그냥 API 가 가성비가 좋은 것 같습니다.
  • B

    B739 Lv.1

    25.09.17 · 223.♡.214.140

    GPT-OSS 의 입출력 포맷 (Harmony, https://github.com/openai/harmony) 을 제대로 지원하는 곳이 얼마 없을껄요?
  • 배불뚝이아저씨

    배불뚝이아저씨 Lv.1

    25.09.17 · 211.♡.142.68

    LLM 돌리면 전기세도 많이 잡아먹어요

댓글을 작성하려면 이 필요합니다.