cuda를 깔았는데도, 항상 GPU 100% 사용하는게 아니군요(ollama local llm)
휘
휘소 (210.♡.27.154)
2025년 8월 6일 PM 05:22 · 수정됨(08. 07. 08:55)
조회 907 공감 0
ollama가 gpu보다 cpu를 좀 많이 쓰는 것 같아서
찾아보니, 원래 gpu 활용 비율은 프로그램이 알아서 결정하는 거더군요.
cuda를 깔고 나니, 원래 그랬나 싶게 처음에 GPU를 막 활용하더니
이후에는 20%이하로 잔잔하게 돌리더군요.
모델 자체가 그런건지...
무리하게 20b 같은 모델을 돌리는게 아닌 이상(모델 자체 용량이 크면 VRAM이 부족해서 CPU로 돌리던...)
gpt-oss:20b 같은 게 CPU로 돌아가니까 꽤 느리더군요 ㄷㄷㄷ
ollama는 서버에서 대신 용량 큰거 돌려주는 turbo 라는 구독형 요금제를 출시했구요?
램빵빵 커스텀 오더 m4 맥미니가 자꾸 아른거립니다?
댓글 (4)
-
일일리케
25.08.06 · 221.♡.121.81
- 휘
휘소
→ 일리케 작성자 25.08.07 · 210.♡.27.154
역시 CLI가 짱입니다 ㄷㄷㄷ -
MMDBK
25.08.06 · 121.♡.197.151
뭔가 조금 이상하네요.
전 렘 용량에 맞춰서 돌리면 거의 8~90프로는 올라가던데 말이에요.
그리고 맥미니 깡통은 ai 성능이 너무 떨어집니다. 32기가로 늘려서 쓰는데 comfyui 같은건 너무 느려서 못쓰고 llm은 14b 정도 까진 그럭저럭 쓸만하고 32b 부터는 5토큰도 나올까 말까에요
사실꺼면 맥미니 m4프로 달린거 사시는게 나을듯 해요 - 휘
휘소
→ MDBK 작성자 25.08.07 · 210.♡.27.154
m4 프로... 기억하겠습니다.
댓글을 작성하려면 이 필요합니다.
gpu 사용에 관한 세세한 컨트롤도 가능하고..
저도 비슷한 문제 때문에 왜 그러나 싶다가 설정 변경하니 그때부터 아주 gpu를 녹아날때까지 사용하더군요 ㄷ ㄷ ㄷ
덕분에 제가 원하는 작업을 그전엔 3시간도 더 걸렸었는데 30분만에 후딱 끝냈던.....그 기억이 지난주입니다. ㅋㅋㅋㅋ