DINKIssTyle (61.♡.73.102)
2026년 3월 29일 PM 11:14
쭈루륵 답변하는게 아니라
짠짠짠 하고 답변합니다.
여하튼.. 터보퀀트를 패치해서 써보고 있는데
그러나..
사실 가정용에서는 크게 실체감이 어려운듯 합니다.
스펙상은 뭐 이런것도 나오던데
로컬 LLM 사용의 체감에서 중요한 것은 프리필이지 말입니다.
쿼드퀀트가 프롬프트 프리필을 빠르게 만들어주지는 않기 때문에
프롬프트 처리 시간을 보고 있노라면...
터보퀀트의 윤택함을 많이 체감할 수 없습니다.
프리필 압축 빠른 처리로 유명한 oMLX의 경우 터보퀀트랑 중복이 안되는 거같더군요.
둘다 kv캐시 양자화라서 그런가 봅니다.
댓글 (7)
-
동동동동대문을열어라
03.29 · 115.♡.59.108
- D
DINKIssTyle
→ 동동동대문을열어라 작성자 03.29 · 61.♡.73.102
전 잘 모르지만... 오늘의 제미나이 느낌이어습니다. ㅋㅋㅋ
그런데... 터보퀀트 적용했다고 나온 모듈들 코드보면 막 추가/변경이 500줄 이러고.. 여기저기 막 적용해서 쏟아져 나오던데.. 간단히 말하면 특별나게 엄청난 알고리즘을 구현해야 하는건 아닌가 싶더라구요.
제미나이 왈 터보퀀트 쏟아져 나오는 이유는개발자에게는 "구현하기 쉽고(Low Effort)", 사용자에게는 "메모리 절약이라는 확실한 보상(High Reward)"을 주기 때문입니다.
이라고 합니다.
-
홍홍천브람스
03.29 · 112.♡.106.194
음. 저는 딱히 모르겠더라구요.
-
순순후추
03.29 · 211.♡.29.5
짠짠짠
-
프프피
03.30 · 118.♡.64.80
아직 실현까지는 안되지 않았나요? 이런게 있더라 수준으로 알고있었는데요
- D
DINKIssTyle
→ 프피 작성자 03.30 · 39.♡.24.241
깃헙에만 해도 다양한 프로젝트들이 나와 벤치마크 놀이가 한창입니다. 실사용용으로 나온 앱들도 있고 저도 LM Studio 모듈들에 패치해서 지금 계속 가지고 놀아보고 있어요. 눈에 띄는건 GPU온도 군요 ㅋㅋㅋㅋ
- 프
프피
→ DINKIssTyle 03.30 · 118.♡.64.80
아하 그렇군요 벌써 ㄷㄷ 요새 따라잡기가 너무 힘드네요
댓글을 작성하려면 이 필요합니다.
헐 벌써 적용된건가요?