3090이나 4080/5060ti 16기가 등의 egpu를 활용해서 하는게 가장 가성비가 좋을겁니다. (가격도 성능도)

맥 스튜디오도 32기가 정도 되면 10기가 정도 되는 모델 돌려볼수 있는데 엔비디아 보다 성능은 떨어집니다. (거짓말 조금 보태 2배정도 차이 나는거 같네요)

제 생각엔 유의미한 검증이 필요할거 같습니다. 로컬 llm으로 업무 자동화가 뚜찌님이 만족할만한 퀄리티가 나온다는걸 검증한 뒤에 그 속도를 높이는 고성능으로 넘어가야되지 않을까 합니다.
1.로컬에서 엄청 느리지만 이거 맞음.(증명)
2.속도 올림(500만원)

여담으로 로컬 llm 하면서 그냥 느낀점은 나의 코딩이건 개발이건 뭐건 동반자를 구하는 느낌보단 일꾼을 구하는데 비싼돈 주고 빠르고 조금더 똑똑한 일꾼 쓰냐, 느리고 저럼한 일꾼 쓰냐 정도라서... 제가 개인적으로 하는건 프론티어급이랑 로컬 llm쪽이랑 차이가 너무나서 제가 그렇게 느끼는 걸 수도 있습니다..

많이 힘들지 않을까요(.....)

딴것보다 그렇게 해놔도 환각 한번 일어나면 데이터가 훅~

뭐 클로드도 환각 일어나서 허가도 없어 회사 데이터를 다 날려먹었다는 사건도 있지않습니까.

api를 사용해 보시면 클로드 코덱스 이런게 얼마나 편한지 알게 되실 검미다??? 로컬로 대기업 서비스 비슷하게 만들려고 하면 관리도 빡세고 생각보다 힘든게 그걸 취미삼아 해결해 가면 그것도 취미의 일종이니 괜찮지만 일 하면서 당장 사용할거면 그냥 대기업 서비스 사용하시는게 편해요 꼭 로컬로 사용해야 하는거 아니면 클라우드가 짱짱맨 임미다???

클로류로 개발이 아닌 비서 에이전트면 n8n같은 자동화툴들이랑 잘엮어서 구성하시면 못할건 아닐거 같습니다. 다만 500만원을 그래픽카드나 LLM서버로 쓸 하드웨어를 구비할 바에 월 3만원에 클로드 소넷이나 지피티 쓰시는게 더 나은 선택일 수도 있습니다. 하드웨어 구매전에 ollama cloud 한달 결제하셔서 로컬llm이 어느 정도 수준인지 맛보셔도 괜찮다고 봅니다.(코딩하실거 아니면 무료도 꽤 넉넉해요)

하시려는 작업의 난이도에 따라 다른 것 같습니다.

3090에 Qwen3.6 27B(q4)로 hermes agent돌리는데요, 큰 기대 안하면 쓸만합니다.

근데 하다보니 claude에게 시키던 습관으로 지시를 하게되어, 자꾸 로컬 LLM의 부족함을 느끼게 되긴 합니다.

27B / 35B 규모의 로컬 LLM들도 tool call은 잘 되고, LLM의 기본인 언어적 능력들(요약/번역 등)은 작은 것들도 어느정도 하기 때문에 검색 결과 취합, 복잡한 CLI출력/로그 등의 읽기 쉬운 요약 같은 작업들은 시킬만합니다.
코딩도 27B는 SWE-Bench 상의 수치는 꽤 높지만,
요구사항/설계가 확실할 때 그것을 코드블럭으로 짜는것은 괜찮고,

claude code가 곧잘하는, 에러 발생시 기존 코드베이스를 파악해서 자동 디버깅 하는 식의 그런 규모있는 작업은 아무래도 체급상 어렵습니다.

일반 가정용 로컬 500만원 이하로 완전 자동화는 무리라는 의견에 한표입니다.

클로드 코덱스로도 많은 시행착오와 학습을 거쳐도 불안한 구석이 있습니다.

특히나 로컬은 안그래도 컨텍스트사이즈가 창렬인데... 최고 효율을 위해 극한으로 짜내 쓰다가 뻗어버리면 하던 작업 다 날라가는 리스크가 엄청 큽니다. 널널하게 여유주고 쓰자니 이게 맞나싶고.

보안이나 그런 특수한 목적이 아닌이상, 차라리 코덱스 100불짜리 구독으로 33개월 사용하면서 차이나는 생산성으로 비용을 커버하는게 낫다는 생각입니다.