27B 젬마 오프라인 LLM 노트북에서 AI 돌리기 엄청 빡세네요...
배
배불뚝이아저씨 (222.♡.55.158)
2025년 9월 21일 AM 09:34 · 수정됨(10. 17. 20:57)
조회 1,002 공감 0
램 64기가 라이젠 4800U에서 돌리는데 GPU는 하나도 안쓰고 CPU만 쓰는군요...
질문 하나 던질 뿐일때 답변 생성하는데 10분정도가 걸리는군요.
8B 까지가 그나마 불편함을 못 느끼고 쓸수 있는 모델링이네요...ㅜㅜ
댓글 (12)
-
지지나가던행인이
25.09.21 · 59.♡.168.58
gpu로 돌리셔야 마음의 평화를 찾습니다... 글카들이 중국으로 다 끌려간 이유이기도 하죠ㅜㅠ - 외
외노자공돌이
25.09.21 · 45.♡.141.195
젬마 27b는 원래 묵직합니다..한글 잘 알아듣게 8비트 퀀타이제이션 쓰고…컨텍스트 10k 이상 쓰면 gpu에서도 꽤 느려요… - 배
배불뚝이아저씨
→ 외노자공돌이 작성자 25.09.21 · 222.♡.55.158
역시 오프라인은 아직 편안하게 쓰기 이른감이 있군요 ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ -
에에피네프린
25.09.21 · 222.♡.255.43
로컬에서 쓰는용도로는 gpt-oss 20b가 괜찮더군요 -
SStarMix
→ 에피네프린 25.09.21 · 116.♡.151.21
이거 빠릿하더라구요. 그래도 1분은 나오지만요 -
셀셀빅아이
25.09.21 · 106.♡.142.212
내장그래픽도 메모리 끌어다 써야 하는것 같은데 4b 모델도 원활할것 같지 않은데요.;
제가 조금씩 업글하다 메모리 업글, 외장그래픽 16G짜리로 업글했습니다. :) - L
logcat
25.09.21 · 112.♡.119.163
오프라인에서 편하게 사용하려면 최소 울트라 7 255H에다가 96GB램 사용해야 합니다. VRAM에 90gb까지 할당가능하고 환경에 따라 AI 395 보다 빠를때도 있다고 합니다 - 배
배불뚝이아저씨
→ logcat 작성자 25.09.21 · 222.♡.55.158
전력 에너지 효율이 너무 많이 들것 같아서 아직 시기상조같아요...ㅜㅜ - L
logcat
→ 배불뚝이아저씨 25.09.21 · 112.♡.119.163
저조합이면 미니pc로 구동가능한데 게이밍랩탑보다 저전력입니다 ㅎ
가격도 알리세일 잘맞춰서 구매하면 100만원정도면 가능하다고 하네요 - 에
에피네프린
25.09.21 · 222.♡.255.43
맥북프로맥스 64기가 모델에서는 원활히 돌아가긴한데
로컬모델은 한계가 너무 명확해서 쓸데가 없더라구요
got-oss 120b 모델 정도 되면 쓸만한데 이건 메모리가 80G 이상은 있어야 되서...
댓글을 작성하려면 이 필요합니다.