잡담
로컬 LLM 을 정리 했어요.
동독도

Lv.1 동독도 (198.♡.207.102)

2026년 6월 28일 PM 02:19

조회 2,281 공감 0

작년에 local LLM 에 빠지면서, 비디오 카드도 바꾸고, 이것저것 즐겁게 보냈습니다만,

좀 덩치가 있는 것을 시도하다 보니, 20~30B 급으로는 너무 효율이 나쁘더라고요.

안되는건 아닌데, 너무 느리고, 결과도 부실하고.

거기다가 최근에 DeepSeek을 선두로 해서 중국 LLM 의 가격이 아주 착해져서,

금전적인 부담도 훨씬 약해 졌고 해서,

제 시스템에 local LLM을 구동하기 위해 설치했던 몇가지를 제거했습니다.

원래는 2대 있던 PC를 local LLM을 구동하기위 해 한대로 합쳐서 사용했었거든요.

GPU도 2개, 메모리도 2배.. 재미는 있었지만 딱히 쓸때는 없더라고요.

곰곰히 생각해보니, 그냥 돈내고 편히 쓰는게 여러모로 좋겠다고 생각이 들어

다시 PC 2대로 환원 됐습니다.

거기다가 전에는 이미지 제작을 위해 ComfyUI 도 설치해서 이미지를 생성하곤 했었는데,

이것도 그냥 FAL.ai 에 돈내고 이미지를 만들게 바꿨어요.

이것 저것 모두 유료를 쓰는게 정신건강에 도움이 되더라고요.

저는 hermes agent를 쓰고 있는데 이 hermes agent 는 무료 모델을 제공합니다.

요즘은 Step3.7-flash를 무료로 제공하더군요. 그래도 저는 Deepseek-v4 를 씁니다만...

Gemma-4-26B-A4B 나 Gemma-4-31B 같은 경우는

google AI Studio에서 무료로 제공하고 있고요.

여러모로 제가 재미로 놀고 있는 분야에서는 local LLM을 쓸 필요가 없어서,

이번에 과감히 정리했습니다.

댓글 (9)

  • 남극백곰

    남극백곰 Lv.1

    06.28 · 114.♡.188.135

    취미용아니면 개인은 로컬모델 사용하기엔 성능이 애메 하죠

  • 최강최강

    최강최강 Lv.1

    06.28 · 61.♡.17.39

    저도 결국 남이 다 서빙해주는 환경으로 가게 될거 같더라고요. 그게 편하니깐

  • Modelo

    Modelo Lv.1

    06.28 · 122.♡.247.194

    저도 이것저것 해보다가 그냥 포기하고 아주 저렴해진 DeepSeek로 하고 있습니다. 좀 해맬때는 codex로 하고요..

  • YBman

    YBman Lv.1

    06.28 · 211.♡.87.197

    딥시크 가성비에 로컬llm도 밀려나는 느낌입니다. 다들 비슷한 느낌을 받으신 것 같습니다. 며칠 전부터 딥시크 조금씩 쓰고 있는데 가성비 때문에 기존의 로컬로 하던 작업들이 슬금슬금 딥시크쪽으로 가고 있습니다. 참으로 만족스럽긴 합니다. 성능도 그렇고 가격도 그렇고..

  • 빅데이트

    빅데이트 Lv.1

    06.29 · 112.♡.148.44

    요즘 제가 생각하는 지점과 비슷하네요.

  • 권도안

    권도안 Lv.1

    06.29 · 125.♡.69.126

    저도... 로컬 llm이 필요하다 싶을 정도로 ai로 여러가지 시도 해보다가, 맥북 600만원짜리 질렀는데 요즘은 피로감 느껴져서 오히려 그냥 클로드랑 gpt로 할만큼만 하고 크게 더 뭘 안하게 되더라구요...

  • 알아야면장

    알아야면장 Lv.1

    06.29 · 217.♡.139.173

    저도 취미용으로 맥북프로 M5 24gb에 로컬모델 작은걸로 가지고 놀다가 결국 현타와서 LM스튜디오랑 모델 싹 다 지웠습니다. 결국 클로드만 잘 쓰자...로 귀결되드라구요

  • T

    turbout Lv.1

    06.29 · 110.♡.189.216

    저도 맥미니 24GB 램에 소형모델들 우겨넣고 오픈클로 돌리고 있는데, 현타오네요. SOTA모델 붙여놓은 hermes가 훨씬 똑똑해서... 뭔가 일 스러운건 hermes한테 맡기고 openclaw는 장난감 처럼 가지고 놀고 있는데... 점점 한계가 오는거 같습니다... ㅠㅠ

  • slowdive

    slowdive Lv.1

    07.01 · 115.♡.60.5

    아 저도 그래야하는데 미련이 남네요

댓글을 작성하려면 이 필요합니다.