로컬LLM은 망한것 같습니다. ㅎㅎㅎ
6미리

Lv.1 6미리 (211.♡.202.218)

2026년 6월 21일 AM 11:01

조회 1,668 공감 0

개발서버가 너무 구형이라 이번에 새로 하나 마련(이라쓰고 퇴사로 인한 남는 데탑 원기옥 모았다고 씁니다)하고

그래픽카드도 3050 8g면 대충 굴릴수 있다는 제미나이 말을 믿고 덥썩 저지릅니다. ㅋㅋㅋㅋ

그러나 결과는 폭망... 실전에 쓰기엔 이거저거 할게 너무 많고, 무엇보다도 속도가 처참합니다.

간단한 수정을 하는데도 1분씩은 걸려서 그냥 내가 수정하고 말지 하는게 너무 많습니다. ㅎㅎㅎㅎ

시간을 좀 더 투자하면 괜찮을거라 생각은 듭니다.

다만, 그럴 시간이 없기도 하거니와 회사에서 AI에 100달러정도는 편하게 혼자 써도 되는 수준이라, 그냥 코파일럿 더 높은 플랜(프로플러스)을 질렀습니다. ㅎㅎㅎ

대표님에겐 우리 망했어요!를 시전하고 대표님도 그닥 크게 기대는 안하셔서 그냥 돈을 더 벌어올게 하셨습니다.

어차피 개발서버가 필요해서 이 컴퓨터는 계속 사용하겠지만, 아쉬움이 컸습니다.

저도 개발자지만, 서비스 개발하는 양반들이 놀고 먹으면서 그 돈 받는건 아니다라는걸 다시 깨달으며, 생각보다 AI비용이 높은건 아님을 이해했습니다.

그래도 나중에 돈벌면 맥미니64기가 사서 굴려보려고요.

여튼 일주일 정도를 준비하고 보낸 시간은 재밌었지만 유익하진 않았습니다. ㅎㅎㅎ

댓글 (15)

  • kimjason

    kimjason Lv.1

    06.21 · 110.♡.89.164

    1인이 쫌 쓸만한거 할려면 최소 3백은 들죠... 3090에 램 64에 적당한 시퓨유에 m.2 ssd 붙이면 ㅎㅎㅎㅎ
    거기다 쿨링까지 끼얹어야 하는데 수냉이 들어가줘야 하죠... (cpu보다 gpu)

    물론 이게 개발용이 아닌 로컬 LLM 돌리는 전용 장비 비용인거죠 ㅎㅎ

  • 6미리

    6미리 Lv.1 → kimjason 작성자

    06.21 · 211.♡.220.186

    그래서 맥미니를 들일까 했는데, 그돈이면 그냥 클라우드 돌리는게 회사 입장에선 더 이득이다라고 생각했습니다.

    생각보다 돈이.. ㅎㅎㅎ 이거도 정말 거의 돈지랄이라 생각될 정도로 돈을 써야 하더군요.

  • 오년삼촌

    오년삼촌 Lv.1

    06.21 · 61.♡.135.139

    4060ti 를 2개로 쓰고 있습니다.

    뭘해도 codex 와 claude 발끝에도 못쫓아갑니다.

  • 6미리

    6미리 Lv.1 → 오년삼촌 작성자

    06.21 · 211.♡.220.186

    그래서 클로드와 코덱스를 돈주고 일 시키기로 했습니다. ㅎㅎㅎ

  • 풀빵7x

    풀빵7x Lv.1

    06.21 · 101.♡.67.89

    100은 아니어도 로컬로 70~80은 하겠지 기대하고 했지만. 50도 못하더라구요. 지금은 30 정도 기대하고 쓰는게 맞다고 봅니다. 막상 쓸만한 용도가 별로 없네요.

  • 6미리

    6미리 Lv.1 → 풀빵7x 작성자

    06.21 · 211.♡.220.186

    3050으로는 30도 아니고 10 정도? 체감상... 클로드랑 지피티가 정말 대단한 녀석들이었더라고요 ㅎㅎ

  • 문스랩닷컴 Lv.1

    06.21 · 211.♡.59.215

    하드웨어가 약한걸로, 망했다고 하는 건 좀 그러네요.

    사장님에게 돈 좀 쓰자구 해보세요. ㅎㅎ

  • 6미리

    6미리 Lv.1 → 문스랩닷컴 작성자

    06.21 · 211.♡.220.186

    장비에 들이는 돈도 돈인데, 시간이 없습니다.

    라이젠7에 램도 64기가니 데탑의 절대적 사양은 부족하지 않아요.

    여기에 필요한게 그래픽카드이고 훈련에 들여야할 시간일건데, 그래픽카드 살돈도 아직은 그 정도로 많지 않거니와 업무에 투입할때까지 투자할 시간이 절대적으로 부족하니 그냥 잘 만들어진 클라우드 쓰는걸로 노선을 변경한겁니다.

    그니까 당장 투입이 필요한 회사 입장에선 망했다고 보는게 맞습니다.ㅎㅎㅎ

    나중에 여유될때 장비도 괜찮은걸 구매해서 하나하나 쌓아 나가야죠.

  • 문스랩닷컴 Lv.1 → 6미리

    06.21 · 211.♡.59.215

    제가 HW에 무지해서, 어느정도 사양이 필요한지 몰라서, 어렵네요.

    아마도, 돈많고 그만큼 효율로 돈을 벌 수 있는 산업계에서 먼저 쓰일거라고 짐작이 됩니다.

  • CaTo

    CaTo Lv.1

    06.21 · 112.♡.38.222

    500-600짜리 DGX 스파크를 사도 구독보다 못합니다....;;;

    이런건 그냥 느려도 주구장창 24간 1주일 내내 적당한 사이즈 플젝 돌릴목적 아님 AI연구 목적이죠

    당장 젤 최소한인 Gemma4 26BA4B나 Qwen3.6 35BA3B Q4만 괜찮게 돌리려고해도 16GB이상 글픽카드 필요합니다

댓글을 작성하려면 이 필요합니다.