컴퓨터에 로컬 LLM 'Gemma3' 설치하고, 크롬(엣지)에서 사용하는 예.gif
D
DINKIssTyle (14.♡.7.140)
2025년 4월 27일 PM 03:46 · 수정됨(16:11)
조회 1,631 공감 0
1배속 예입니다.. 불필요한 부분까지 전부 긁은걸 요청해서 시간이 좀 걸려 보이지만..
대부분의 상황에서는 이 보다 빠릅니다!
https://damoang.net/lecture/9232 '컴퓨터에 로컬 LLM 'Gemma3' 설치하고, iOS에서 사용하기' 에 이어서
https://damoang.net/lecture/9234 '컴퓨터에 로컬 LLM 'Gemma3' 설치하고, 크롬(엣지)에서 사용하기' 도 많은 이용해주세요.
댓글 (5)
-
나나무플러스
25.04.27 · 124.♡.35.122
당연한 애기지만, Local PC 가 GPU 만 좋으면 좀 더 빨라지겠네요..PC 를 구매하려고 하는데..사양을 어디까지 봐야 할지 고민입니다. - D
DINKIssTyle
→ 나무플러스 작성자 25.04.27 · 14.♡.7.140
NPU에 기대를 가져야할 거 같습니다. GPU쪽은 전력도 많이 먹고 비디램도 크루지라서 말이죠 ㅜ ㅜ 지금 2세대?만에 50TOPS까지 왔으니깐 머지않아 rtx 잡는날 오리라 굳게 믿숩니당! -
셀셀빅아이
25.04.27 · 125.♡.200.218
바로 하러 갑니다. 감사합니다. :) - D
DINKIssTyle
→ 셀빅아이 작성자 25.04.27 · 14.♡.7.140
ux품질이 좋지는 않아요! 이쁘게 수정하셔야 할겁니다 ㅎㅎㅎㅎ - 셀
셀빅아이
→ DINKIssTyle 25.04.27 · 125.♡.200.218
일단 기존 로컬로 돌리는거 몇개 테스트 중인데 기존 gemma3 4bit Q4, Q6에 비해 훨씬 가볍네요.
(GPU 돌아가는데 굉음이 안납니다.ㅋ)
댓글을 작성하려면 이 필요합니다.