DINKIssTyle (61.♡.73.102)
2026년 3월 26일 PM 03:31
https://github.com/TheTom/turboquant_plus
누군가 플러스를 붙여 개선판도 내놓은군요!
애플 실리콘을 넘어 쿠다로까지 갈 프로젝트인가 봅니다!
전세계 다이어트 열풍(?)을 응원합니다!
댓글 (5)
- 우
우주ㅁ
03.26 · 211.♡.157.179
- D
DINKIssTyle
→ 우주ㅁ 작성자 03.26 · 61.♡.73.102
"우리는 답을 찾을 것이다. 늘 그랬듯이." We will find a way. We always have.
로 군요 ㅋㅋㅋㅋ -
달달짝지근
03.26 · 49.♡.149.207
앞으로 내장 GPU 또는 쿠다나 다른 라이브러리 사용하는 엔비디아 암드 인텔 등 GPU에서 동작하는 로컬 LLM이 대중화 될 것 같네요
메모리만 좀 어캐 추가 장착이 된다면 참 좋겠는데..
- M
molla
03.26 · 121.♡.107.235
대충 찾아보니, 모델 크기를 줄이는 게 아니라, KV 캐시 크기 줄이는 거라는 것 같네요?
로컬로 돌리는 사람들은 KV 캐시를 신경쓰는 것 보단 일단 모델 자체를 올리는걸 버거워하지 않던가요?
- D
DINKIssTyle
→ molla 작성자 03.26 · 61.♡.73.102
모델 사이즈도 많이 줄었죠. MoE 덕에 실제 메모리에 올리는 양이 줄었습니다.
그리고 현재 LLM in a Flash 기술로 고속저장 장치를 이용하는 방법으로 로드할 메모리를 줄이고 있습니다만 이건 저장장치 속도도 올라야 효과가 더 나올것이니 아직 구경중입니다.
KV캐시 사용 효율이 오르면 개인 머신에서도 좀더 긴 컨텍스트 처리가 가능하고 빨라지니 기대되는 기술 중 하나입니다.
댓글을 작성하려면 이 필요합니다.
위기에 닥치면 쥐어짜는 방법이 나오는거죠 ㄷㄷㄷ