갤러리김 (119.♡.240.179)
2026년 4월 30일 AM 09:35
몇년 된 겜트북이라 vram 이 6기가 밖에 안되서
가벼운 모델로만 겨우 돌리고 있습니다.
제미나이가 추천한 gemma-4-e4b 라는 모델인데
이것도 중간중간 실행하다 말을 도중에 끊어버리는 ㅠㅠ
lm studio 를 서버로 하고 vs-code 로 돌리기도 한다던데
메모리 때문인지 잘 진행이 안되네요
미니맥을 들여서 서버로 운용해보고 싶다란 생각도 잠시
생각보다 결과물은 시원찮네요. verse 란 언어를 쓰는데 참조하는 방식도 이해못하고 에러를 만들어 버리는군요.
하루종일 돌려서 나온것보다 걍 안티그라비티 로 잠깐 돌린게 에러가 안생기는..
가벼운 모델이라 그럴라나요
댓글 (16)
-
오오년삼촌
04.30 · 211.♡.145.132
-
말말없는
04.30 · 1.♡.122.29
로컬로 돌리는건 부자나 가능한 옵션이더라구요 ...
-
남남극백곰
04.30 · 114.♡.188.135
그 모델 보기완 다르게 엄청 무겁슴미다 다른모델 사용해 보세요
-
DDINKIssTyle
04.30 · 61.♡.73.102
일반적인 방법으로 gemma-4-e4b를 vram 6gb로 돌리기엔 좀 무리입니다. 모델만 올라가도 vram이 꽉차서 저장장치에 오프로드 되고 예산이 없어서 문맥을 유지하지 못하기 때문에 사실상 단답형 max나 심심이가 됩니다.
-
아아리니아빠
04.30 · 121.♡.83.61
보니까 개인이 소소하게 돌리려면 3090 24GB 정도에 램도 64GB 정도는 되어야 할 것 같습니다.
그래야 Qwen 3.6:27b 정도로 쓸만한 성능 나오지 않을까 합니다 ㅜㅜ
그런데 3090 24GB도 그렇고 램 64GB도 그렇고 가격이 ㅠㅠ
- 갤
갤러리김
→ 아리니아빠 작성자 04.30 · 119.♡.240.179
흐미 vram 8기가만 됐어도 좋겠다 했는데요 ㄷㄷ
- N
nulI
04.30 · 211.♡.132.214
언어가 메이저가 아니면 잘 못해요
이건 구독해도 비슷할듯
-
개개발전문가
04.30 · 118.♡.83.73
실행하다가 말을 끊다니요
동바예의지국에서 있을수 없는 일입니다
-
Wwidesea
04.30 · 118.♡.14.56
개인용 ai 는 무조건 그래픽램 차이더군요.
-
비비눗방울
04.30 · 223.♡.43.96
업체들 구독료는 계속 올라가지, 로컬로 돌리기엔 하드웨어 스펙이 과하지, 가진 하드웨어 스펙에 맞추자니 성능이 안 나오지. 참 이러지도 저러지도 못하는 "LLM거지"라는 말이 등장할 것 같아요.
댓글을 작성하려면 이 필요합니다.
모델을 높은걸 쓰면 나름 괜찮죠.. 120b 라던가..(중얼중얼)
가벼운 모델에서 고성능을 바라시면 아니되옵니다..... 컴터도 똑같잖아요.. ^.^;