DINKIssTyle (39.♡.231.26)
2026년 3월 24일 AM 01:57
물론 세상과의 창을 열어둔 상태에서요!
콤퓨타 녀석은 청킹을 좋아하더군요.
그래서 웹에서 긁어온걸 버퍼에 쌓아 청킹 처리해줬더니
속도가 몰라보게 빨라졌습니다.
언제였나.. GPT가 웹검색 들여왔을 때 보다 빠른거 같기도 합니다. 그때 1분씩도 기다렸는데 말입니다.
물론 웹검색을 병행하고 웹 전체 내용이 아닌 처킹 처리 해준 덕분에 답변 정확도나 품질도 매우 좋아졌습니다.
추가로 LM Studio는 자동으로 히스토리를 관리해주고 매 메세지에 히스토리를 보내지 않아도 되는 훌륭한 기능이 있는데 이 역시 히스토리가 쌓이면 프롬프트 프로세싱이 느려지는 문제는 여전했습니다.
어떻게 해결해야 하나 하다가 토큰수를 앱이 계산하고 압박이 오면 내용을 압축하게 했더니 지속되는 대화에서도 못쓸만큼 느려지지 않아요.
흥미로우신 분들은 빌드해서 사용해보세요!
https://github.com/DINKIssTyle/DINKIssTyle-Local-LLM-Gateway-with-TTS/
*스크린샷에서 MCP 처리 시간이랑 씽킹 시간은 별개가 아니고 MCP를 요청 받은지 17초에 끝내고 씽킹을 23초에 끝냈다는 표시입니다. 수정해야겠네요....
댓글 (11)
-
어어머
03.24 · 66.♡.172.158
-
WWindBlade
03.24 · 24.♡.135.125
저런 로컬 LLM을 실행하려면 컴퓨터 사양이 어느정도 되면 괜찮은가요? 궁금하네요.
- 어
어머
→ WindBlade 03.24 · 66.♡.172.158
Qwen 3.5b a3b면 5090에서는 잘돕니다.
- D
DINKIssTyle
→ 어머 작성자 03.24 · 61.♡.73.102
맞습니다. A3B가 dense에 비하면 정말 쾌적합니다~ 퀜이 최적화도 잘 시킨거 같아요!
-
동동독도
03.24 · 72.♡.213.83
저는 Ollama를 통해서 Qwen 모델을 사용중인데, vram 많은 그래픽카드로 바꾸고 싶어요.
- N
neutro
→ 동독도 03.24 · 61.♡.130.69
ollama cloud 우선 써보세요. free 도 조금은 놀 수 있고. 월 20불 짜리만 해도 제법 넉넉합니다. vram 많은 그래픽카드 가격이면 한 15년치 요금 낼수 있습니다.
- N
neutro
03.24 · 61.♡.130.69
LM Studio 외에 oMLX 꼭 써보세요. 신세계가 열립니다.
- D
DINKIssTyle
→ neutro 작성자 03.24 · 61.♡.73.102
익히 들어서 알고 있는데 여전히 보류하고 있었네요.
우선 이렇게 외부 앱에 꾸미기엔 LM Studio가 뱉어내는 정보가 많아서 포기를 못하겠어요 ㅠㅠ
- N
neutro
→ DINKIssTyle 03.24 · 118.♡.5.122
프리필이 분에서 초로 줄어듭니다.특히 에이전트 들
-
아아무개00
03.24 · 178.♡.142.161
우와 그정도면 진짜 많이 올라왔네요. 로컬로 돌리는건 rx6800으로 연명중이라 꿈도 못꾸고 있는데 돈 많이 벌어서 엔비디아 gpu 두개정도 박아놓고 쓰면 제법 쓸만하겠군요.
댓글을 작성하려면 이 필요합니다.
발전 속도가 진짜 장난아니네요
이제 2-3년 뒤에 로컬이 현 모델 정도 수준 나와주면 장난아닐거 같습니다 ㅎㅎ