크롬 로컬 LLM 어시스턴트 글 교정 속도.gif
DINKIssTyle

Lv.1 DINKIssTyle (14.♡.7.140)

2026년 1월 8일 PM 11:12 · 수정됨(01. 09. 01:11)

조회 2,477 공감 0


아까 올린 크롬 Local LLM 확장을 마구 업그레이드 시켰습니다.jpg


여기저기 LM Studio 모델을 4개 띄워놓고 테스트해서..

어떤 모델이었는지 모르겠지만 엄청 빨리 향상 완료했네요.


지금 이 로컬 LLM 어시스턴트 의 테스트 요약, 이미지 분석, 작성글 검수 정도는...

역할상 3~4B 정도면 충분히 그 역할 다 해냅니다.


물론 27B~30B쓰면 품질은 더 향상되겠지만.. 투입 에너지나 소요 시간대비 3~4B면 충분해 보여요.

이미 Qwen3 VL 4B 같은 경우에는 Qwen 2.5 VL 7B에 해당하는 능력을 보여주고 있고요..


CUDA없는 윈도우나 리눅스에서는 Gemma3 4B 또는 Qwen3 VL 4B를 추천합니다.

Vulkan으로 그나마 숨쉴 수 있는 속도의.....


같은 하드웨어서 Qwen3가 더 쾌적하긴해요~ 가끔 외계어 튀어나는 게 단점인데 매우 빈도가 낮아서 쓸만합니다.

댓글 (6)

  • 셀빅아이

    셀빅아이 Lv.1

    01.08 · 125.♡.200.218

    작은 모델은 필요 없을것 같아 삭제했는데, 다시 받아서 해봐야 겠네요.
    Qwen3 VL 모델 작은거 받아봐야 겠습니다.
  • 셀빅아이

    셀빅아이 Lv.1 → 셀빅아이

    01.08 · 125.♡.200.218

    방금 Qwen3 VL 모델 작은걸로 해보는데, 매우 빠르네요. :)
  • DINKIssTyle

    DINKIssTyle Lv.1 → 셀빅아이 작성자

    01.08 · 14.♡.7.140

    CUDA가 없는 시스템에서 매우 소중한 녀석입니다. Mac의 Metal과 AMD의 Vulkan 모두에서 가볍고 빠르게 작동합니다. ㅎㅎ
  • 야생곰

    야생곰 Lv.1

    01.09 · 220.♡.181.26

    {emo:damoang-meme-72.webp:150}

    그렇군요!!
  • 구름처럼

    구름처럼 Lv.1

    01.09 · 121.♡.92.244

    프로그램 실행하면 자동으로 선택한 모델 로드까지 되는 설정은 없는지 궁금하네요. 그냥 알아서 윈도우 켜지면 자동 실행되게 해두고싶은데.
  • DINKIssTyle

    DINKIssTyle Lv.1 → 구름처럼 작성자

    01.09 · 14.♡.7.140

    저는 한번 켜면 끄질 않아서 시도해보지는 않았지만, 윈도우에서는 이렇게 할 수 있나봅니다.
    앱셋팅 (컨트롤+,) Developer -> Local LLM Service (headless) 체크
    https://lmstudio.ai/docs/cli/serve/server-start 에 따르면
    lms server start 로 켤수 있다고 합니다.
    lms server status 로 체크는 확인해보았습니다.
    즉 셀스크립트나 윈도우 스케쥴러에 등록해서 윈도우 시작시 서버를 켜실 수 있을거 같습니다.
    모델 자동 로딩은 좀더 찾아봐야할거 같습니다.

댓글을 작성하려면 이 필요합니다.