크롬 로컬 LLM 어시스턴트 글 교정 속도.gif
D
DINKIssTyle (14.♡.7.140)
2026년 1월 8일 PM 11:12 · 수정됨(01. 09. 01:11)
조회 2,477 공감 0

아까 올린 크롬 Local LLM 확장을 마구 업그레이드 시켰습니다.jpg
여기저기 LM Studio 모델을 4개 띄워놓고 테스트해서..
어떤 모델이었는지 모르겠지만 엄청 빨리 향상 완료했네요.
지금 이 로컬 LLM 어시스턴트 의 테스트 요약, 이미지 분석, 작성글 검수 정도는...
역할상 3~4B 정도면 충분히 그 역할 다 해냅니다.
물론 27B~30B쓰면 품질은 더 향상되겠지만.. 투입 에너지나 소요 시간대비 3~4B면 충분해 보여요.
이미 Qwen3 VL 4B 같은 경우에는 Qwen 2.5 VL 7B에 해당하는 능력을 보여주고 있고요..
CUDA없는 윈도우나 리눅스에서는 Gemma3 4B 또는 Qwen3 VL 4B를 추천합니다.
Vulkan으로 그나마 숨쉴 수 있는 속도의.....
같은 하드웨어서 Qwen3가 더 쾌적하긴해요~ 가끔 외계어 튀어나는 게 단점인데 매우 빈도가 낮아서 쓸만합니다.
댓글 (6)
-
셀셀빅아이
01.08 · 125.♡.200.218
-
셀셀빅아이
→ 셀빅아이
01.08 · 125.♡.200.218
방금 Qwen3 VL 모델 작은걸로 해보는데, 매우 빠르네요. :) -
DDINKIssTyle
→ 셀빅아이 작성자
01.08 · 14.♡.7.140
CUDA가 없는 시스템에서 매우 소중한 녀석입니다. Mac의 Metal과 AMD의 Vulkan 모두에서 가볍고 빠르게 작동합니다. ㅎㅎ -
야야생곰
01.09 · 220.♡.181.26
{emo:damoang-meme-72.webp:150}
그렇군요!! -
구구름처럼
01.09 · 121.♡.92.244
프로그램 실행하면 자동으로 선택한 모델 로드까지 되는 설정은 없는지 궁금하네요. 그냥 알아서 윈도우 켜지면 자동 실행되게 해두고싶은데. -
DDINKIssTyle
→ 구름처럼 작성자
01.09 · 14.♡.7.140
저는 한번 켜면 끄질 않아서 시도해보지는 않았지만, 윈도우에서는 이렇게 할 수 있나봅니다.
앱셋팅 (컨트롤+,) Developer -> Local LLM Service (headless) 체크
https://lmstudio.ai/docs/cli/serve/server-start 에 따르면
lms server start 로 켤수 있다고 합니다.
lms server status 로 체크는 확인해보았습니다.
즉 셀스크립트나 윈도우 스케쥴러에 등록해서 윈도우 시작시 서버를 켜실 수 있을거 같습니다.
모델 자동 로딩은 좀더 찾아봐야할거 같습니다.
댓글을 작성하려면 이 필요합니다.
Qwen3 VL 모델 작은거 받아봐야 겠습니다.