하압 (61.♡.113.21)
2026년 4월 7일 PM 03:45
지금까지 LLM을 제한된 용도로만 사용해왔는데요.
예를들면 영작문 문법을 고친다거나 하는 용도로요
그러다 이번에 조금 제대로 써보자.. 하고 클로드 프로젝트를 하나 설정해서 작업을 해 보았습니다.
직접하면 정확도는 높지만 하나에 4시간 정도 걸리고는 좀 단순 반복적인 일을
50번이나 반복해야 하는 일이있는데요
이걸 프로젝트에 자동화로 세팅하는데 시행착오 반복하며 5~6시간정도 걸렸고요.
작업 결과물은 90%정도 만족스럽고, 한번 반복 하는데 4분정도 걸리네요
문제는 처음에 프로젝트 세팅하는데 주간 토큰을 하루만에 60%넘게 써버려서
실제 작업은 다음주까지 기다려야 될것 같아요
이렇게 토큰 나가는걸 보니, 비슷하게 세팅해야 하는데 품이 들어갈 다른 프로젝트들 생각에
이걸 무료로! 할수 있다는 LLM에 관심이 생겼습니다.
그래서 실제로 ollama 설치해서 돌려봤는데요, 회사컴퓨터로는 인삿말도 제대로 못 찍을정도로 느리고,
집 컴퓨터로는 인삿말정도까지만 나눌수 있는정도로 느리더라고요.
아 컴퓨터 업그레이드 하고 싶다
댓글 (16)
-
진진서기
04.07 · 211.♡.30.237
- 하
하압
→ 진서기 작성자 04.07 · 61.♡.113.21
하지만 로컬 환경울 구축하면 붉은 사막도 할수 있습니다?
-
DDINKIssTyle
→ 하압 04.07 · 61.♡.73.102
ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 이로써... 추진력에 부스터가 붙었습니다.
- 다
다시머리에꽃을
04.07 · 106.♡.79.253
문제는 openclaw로 연동해서 사용하려면 엄청 고사양이 필요합니다 (그나마 싸게 구축가능한게 mac mini pro 48기가급 정도?)
그렇게 한다해도 수세대 전 수준의 낮은 llm모델을 써야해서.. 실제 이제까지 써왔던 모델 수준의 퍼포먼스를 기대한다먄 많이 실망할겁니다
아직까지는 로컬 모델은 장난감 수준정도라 보고요. 로컬로 세팅해보다가 답답해서 본격적인 작업을 하려면 돈주고 클라우드 ai모델을 사용하는 이유가 있죠
-
너너구리남편
04.07 · 112.♡.220.208
개인용피시 수천수만대의 분량의 파워를 가진 회사에서 내논 모델을 따라잡기란 힘들지 않을까 합니다.
-
셀셀빅아이
04.07 · 125.♡.200.218
이번에 젬마4 나온게 장난 아닙니다.
이정도면 로컬 그래픽카드 하나 들여서 세팅하면 어느정도까진 충분히 쓸 수 있을것 같습니다.
-
WWindBlade
04.07 · 93.♡.15.111
이런저런 인터넷 사용기를 보면 로컬 LLM 제대로 사용하려면 메모리과 그래픽 성능이 충분히 괜찮아야 할것 같더군요. 돈만 충분하면 요즘 라이젠 AI 395 머신이 땡깁니다....... ㅎㅎㅎㅎㅎㅎ
-
일일리케
04.07 · 169.♡.222.131
현재 M1 Max 64G 2TB 를 사용중인데 엊그제 나온 gemma4:26b를 ollama에 올리고 구글 터보퀀트까지 적용해서 사용하니 일단은 엥간한것은 claude 만큼 현재까지는 하고 있네요....
일단 저도 토큰 때문에 에지간한건 이걸로 하고 나중에 가끔 claude code에게 보안이나 소스 분석 한번씩 맡겨보려구요...
-
데데굴대굴
04.07 · 175.♡.72.235
내 후년쯤? 로컬에 구축하시면 되겠습니다. 현재는 구독보다 하드웨어가 살짝 비쌉니다. 비용을 산출하면... 2년치를 한방에 몰아넣어야 최소 수준을 만들어주는데 이렇게 비용을 들여서 만들어도 1년 뒤의 모델에서 딸깍해서 만들어질 내용보다 떨어질꺼 같거든요. 언제나 그랬듯 시간이 지나서 일정 수준 이상이 되면 비용이 떨어지고 어느 정도 가성비(?)가 맞게 될텐데 그게 올해는 아닌거 같습니다.
- D
DINKIssTyle
04.07 · 61.♡.73.102
도구로써의 사용은 너무 큰 모델보다는 작은 모델에서부터 그리고 원하는 도구로써 파인튜닝된 애들로 접근하시면 좋습니다. 온라인 서비스 하는 애들처럼 모든걸 빠르게 다해주기를 기대하고 접근하시면 흥미가 없어집니다. 예를 들어 젬마의 경우 번역 특화 모델인 TranslateGemma 4B(배이스 모델의 9~12B 급)이나 SQL 전문 등등의 모델이 있습니다. 로컬 LLM은 이제 선택이 아니라 필수가 되고 있죠~ 런타임 하나 늘 백그라운드로 돌게 하시고, 필요한 도구마다 연결해놓으세요~
댓글을 작성하려면 이 필요합니다.
로컬 LLM 머신으로 M5 max studio 나온다면 질러보고 싶네요.
256g 메모리 버전 나온다면 천만원은 가뿐하게 넘을듯 합니다.
아.. 로또 사러가야겠네요.
그러나 현실은 채찍피티 구독이 훨씬? 저렴하고 성능이 좋지요.