쟘스 (14.♡.134.130)
2026년 4월 27일 AM 05:59
그 돈내고 AI 구독을 하는구나 실감이 납니다.
솔직히 한 200만원 들여서 글픽 하나 새로 살까? 혹했는데,
생각해보니까 제가 하는 수준의 코딩따위는
가장 저렴한 구독으로도 한 달 안에 뚝딱 해치울 수 있는 수준이더라고요 ㅎ
200만원이면 그런 구독은 최소 200개월을 할 수 있을 것 같고요 ㅋ
어디 되나 안되나 보자는 느낌으로 해보긴 했지만,
지금 2시간째 프롬프트만 읽어들이고 있는 제 로컬 llm 보면서 한 숨이 나옵니다~
이거저거 테스트 끝나고 진짜 만들어볼 거 구상이나 로컬llm으로 해보고,
실제 만들어 보는 건 ai구독해서 만들어 봐야겠습니다.
프롬프트 프로세싱 이제 92.27%라네요 ㅡ.ㅡ 응답출력은 또 언제 다 끝날지 ㅎㅎ
토큰 처리속도가 거의 초당 3~4개 수준이던데 환장합니다 ㅋㅋ
댓글 (20)
-
Bboolsee
04.27 · 61.♡.127.148
- 쟘
쟘스
→ boolsee 작성자 04.27 · 14.♡.134.130
저는 AMD... 6700XT 12GB인데..
억지로 qwen3.5 35B A3B 모델로 컨텍스트도 24만 토큰 거의 꽉 채워서 해보고 있습니다.
다시는 이렇게 설정하고 쓰지는 않을 것 같아요 ㅎㅎㅎ
잘 모르다보니 시간으로 때우고 있습니다 ㅡ.ㅡ
-
마마이너스아이
04.27 · 172.♡.206.42
튜닝 하셔야 할 듯 합니다
- 쟘
쟘스
→ 마이너스아이 작성자 04.27 · 14.♡.134.130
그래야 할 것 같습니다ㄷㄷ 모델도 더 적은 변수 사용하는 걸로,
컨텍스트 길이도 좀 더 줄여서 해봐야 할 것 같습니다.
간만에 신나서 이거저거 해본다고 막하다가 요래 되어버려서 기다리고 있네요;
-
NNO8DO
04.27 · 106.♡.208.217
저는 바이브코딩 하다보니 제가 만든 봇들 중에 AI가 개입해야 하는 부분이 꽤 있어서, API 비용 줄이려고 컴 업글하고 남는 부품들로 로컬 LLM을 고려하고 있습니다.
근데 ollama에서 Gemma4 26B 4비트 양자화 버전을 CPU만으로 로딩해도 10Tok/s 나오던데, 너무 큰 모델을 올리신게 아닌가 싶어요.
- 쟘
쟘스
→ NO8DO 작성자 04.27 · 14.♡.134.130
제가 멋모르고 너무 큰 모델을 사용한게 맞는 것 같습니다 ㄷㄷ
-
니니케니케
04.27 · 222.♡.5.59
로컬 LLM은.. 보안이나 정책상 혹은 원하는 내용을 상용 API가 제공하지 않아 어쩔수 없이 써야 하거나, 파인튜닝이 취미 이거나.. 아님 AI 기기를 사보고 싶다거나 등등의 이유가 아니면 사실 별 매리트가 있는지 모르겠어요.
가성비 측면에서 장점이 있으려면, 로컬 LLM으로 처리 할만한 간단한 일을 대량으로 해야 하는 경우 (대규모 데이터의 감정 분석 이라거나) 라면 모를까... 사용처나 필요성이 한정적이 될수밖에 없죠. 물론 그런 경우는 분명 존재 하기 때문에 저도 관심은 늘 가지고 있습니다.
- 쟘
쟘스
→ 니케니케 작성자 04.27 · 14.♡.134.130
제가 해보는 건 다 비전문적 단발성 코딩이라 저렴한 구독 한 두달이 나을 것 같은데,
저도 항상 뭐 새로나오면 로컬에서 어디까지 돌아가는지 궁금하더라구요.
그래서 그냥 해봤다가 시간쓰고 있습니다 🤦😂
-
PPigKing
04.27 · 211.♡.226.176
Vulkan 가속 쓰시는지요? 그거 아니면 LLM 성능이 느리다고 합니다. 보아하니 CPU 가속만 쓰는 걸로 보입니다. ROCm은 리눅스에서만 사용 가능하다고 하니, 사용이 어려우실 겁니다.
- 쟘
쟘스
→ PigKing 작성자 04.28 · 14.♡.134.130
헉. 리소스 감사합니다. 잘 읽어보고 적용해 보겠습니다 ㄷㄷ
lm studio 서버로 돌리면 vulkan 적용되는 줄 알았어요 ㅠ
댓글을 작성하려면 이 필요합니다.
GPU 사양이 뭔가요? 4060 8GB 다
그 정도로 느리지 않은데요?