DINKIssTyle (118.♡.7.223)
2026년 1월 9일 AM 09:34 · 수정됨(22:15)
아래 GIF는 모두 1배속 실제 속도입니다.
소비자용 Nvidia GPU에서 CUDA의 경우 VRAM에만 오프로드 없이 올라가면 체감 속도는 큰 차이 없지만..
RTX3080Ti 12GB에서 에너지 절약을 위해 qwen/qwen3-vl-4b 을 이용했습니다.
로컬 LLM 어시스턴트로 요약
이미지 분석 및 질문
AI 텍스트 향상
이 정도면 채찍피티나 제미나이보다 빠르쥬~
제 개인적인 생각으로 앞으로 집집마다 LLM 놓는 시대가 올것입니다.
마치 보일러 처럼~ 생활에 밀접해질겁니다.
집 안에 많은 부분과 역할들을 알프레드 처럼 묵묵히 수행할거에요.
아! 로컬 LLM 어시스턴트 소소하지만 macOS 크롬에서 소소한 문제를 수정해서 업데이트했습니다.
macOS 크롬은 텍스트 입력창에서 우클릭하면 반블록 잡아서 메뉴가 두개 뜨더라구요. 그 부분을 수정했습니다.
https://github.com/DINKIssTyle/DINKIssTyle-Chrome-Extensions
댓글 (19)
- 셀
셀레본
01.09 · 112.♡.41.1
- D
DINKIssTyle
→ 셀레본 작성자 01.09 · 61.♡.73.102
qwen3은 정말 속도 측면에서 놀랍습니다 ㄷㄷ
모바일 라뎅에서도 30b 그럭저럭 쓸만할 정도로 돌아가요 ㄷㄷ -
달달랑
→ 셀레본 01.09 · 117.♡.17.23
괜찮습니다.
어차피 그런 시대가 오면 전기 퍼먹는 지금 시장의 과도기 물건들은 구형이 되고, 가정 전력사정에 맞추면서 성능은 더 오른 전혀 다른 새로운 세대의 제품들이 나올겁니다.
지금 미리 사서 대비할 필요는 없습니다. :D -
Kkimpy
01.09 · 203.♡.212.35
오.. 가정용pc 글픽카드로도 간단한 작업들은 괜찮게 결과물이 나오나요? - D
DINKIssTyle
→ kimpy 작성자 01.09 · 61.♡.73.102
본문의 예제처럼, 텍스트 요약, 이미지 내용 분석, 맞춤법 검사 같은 간단한 도움 같은 것은 충분히 가능하죠.
최소 구글 어시스턴트 같은 이전 세대 어시스턴트들과는 비교할 수 없을 만큼 더 지능이 높으니깐요! -
Bboolsee
01.09 · 211.♡.80.125
AI 공부해 보겠다고 PC 구매할 때 4060 Ti 8GB 를 거의 80만원에 구입했습니다.
여기에 Ollama 사용해서 LLM 이것저것 시험해 보는데 가장 아쉬운 것은 VRAM 입니다. VRAM 크기가 적어도 16GB 정도만 되도 정말 좋아겠다 싶습니다. 7B~12B 모델 실행하는 것이 거의 최대치이고 ossgpt (20B)는 VRAM에 절반도 올리지 못하네요.
GPU 가격만 괜찮으면 중고라도 더 달고 싶은데 메인보드 슬롯도 없네요.
ossgpt 나 gemma 모델 사용해 보면 최초 모델 적재하는데 시간이 많이 걸리지만 일단 적재 후에는 응답 속도도 빠르고 응답 품질도 좋아서 이렇게 하나 구축해서 사용하면 좋겠다는 생각입니다. 아직 Vibe coding 까지는 못해보았는데 가능하면 Vibe coding 에도 사용해 보고자 합니다. - D
DINKIssTyle
→ boolsee 작성자 01.09 · 61.♡.73.102
막상 m4 pro 64gb 쓰면서 다양한걸 올리고 쓸만한 속도를 경험하지만...
이렇게 가끔씩 엔당 경험하면 현타 오더라구요 ㅠㅠ 초당 토큰 수가 10배이상 차이납니다. -
옐옐로우몽키
01.09 · 119.♡.255.143
쿼드로P620 쓰는 사람의 입장에서 뭔말인지 1도 모르겠네요 (놀리는거아니고 진심입니다. 세상하고 너무 떨어져 버린느낌..) - D
DINKIssTyle
→ 옐로우몽키 작성자 01.09 · 61.♡.73.102
ChatGPT나 제미나이 같은 아이들이 머지 않아 집집마다 집에서 운용하는 보일러 처럼 필수가 될것이라는 의견이었습니다.
삶에 밀접하게 다가올거에요. 집에 불켜고, 보일러 돌리고, 우리집 정보를 묻는데 온라인 서비스까지 필요 없으니깐요! - 옐
옐로우몽키
→ DINKIssTyle 01.09 · 119.♡.255.143
IoT, 스마트 어쩌구가 되게 촌스러워 지는 시대가 오겠군요!
그렇게되면 그래픽 카드로 계층나누는 그런 시대도 올 수 있을것같다는 생각도 해봅니다 ㅋㅋㅋㅋ
댓글을 작성하려면 이 필요합니다.
사실 lm studio에 qwen 4b 정도 사용하면 간단한 용도로는 쓸만하고 vulkan에서도 그렇게 느리진 않아요. 근데 comfy ui는 무슨 수를 써도 안되네요.
그래서 마지막 수로 리눅스 깔았습니다. 근데 33원정대 하느라고 리눅스를 못들어가요.