DINKIssTyle (61.♡.73.102)
2026년 4월 9일 PM 11:22
RotorQuant가 등장했습니다.
블록 대각선 회전을 사용하여 버터플라이 네트워크를 우회하는 드롭인 KV 캐시 양자화 방식입니다 . 모든 면에서 Google의 TurboQuant를 능가합니다. 더 나은 PPL, 28% 더 빠른 디코딩 속도, 5배 더 빠른 프리필 속도, 44배 더 적은 파라미터를 제공합니다 .
https://github.com/scrya-com/rotorquant?tab=readme-ov-file
TurboQuant와 비교 (동일한 10.3배 압축률):
PPL : ISO3 6.91 vs Turbo3 7.07 — 더 나은 품질
디코딩 : 119 tok/s 대 93 tok/s — 28% 더 빠름
사전 충전 : 3,822 tok/s vs 722 tok/s — 5.3배 더 빠름
매개변수 : 128 대 16,384 — 44배 적음 (논문당, 표 1 참조)
왜 더 빨라야 할까요?
RotorQuant 논문 에 제시된 버터플라이 바이패스 : TurboQuant는 ad×d Walsh-Hadamard 변환(128개 차원 전체에 걸쳐 log₂(d) 단계의 버터플라이 네트워크)을 적용합니다. PlanarQuant/IsoQuant는 쌍/사중체별로 독립적인 2D/4D 회전을 적용하여 O(d log d) 대신 O(d)의 시간 복잡도를 가지며, 완전 병렬화가 가능하고 요소 간 종속성이 없습니다. 지연된 K-캐시(사전 채우기 중 F16)는 즉시 처리 중에 회전 오버헤드를 완전히 제거합니다.
건축의 진화
원래 RotorQuant 논문에서는 Clifford 대수 Cl(3,0) 로터, 즉 4개의 비영 멀티벡터 성분만 갖는 로터 샌드위치 곱 RxR̃를 제안했습니다. 핵심 아이디어는 KV 캐시 벡터의 상관관계를 제거하기 위해 전체 랭크 d×d 변환이 필요하지 않다는 것입니다. 실제 어텐션 벡터는 저랭크 매니폴드에 존재하기 때문에 작은 직교 블록으로도 충분합니다.
이로 인해 점진적으로 더 간단해지는 세 가지 구현이 탄생했습니다. PlanarQuant (2D Givens)와 IsoQuant (4D 쿼터니언)는 블록 대각선 회전 아이디어를 기반으로 @ParaMind2025 님이 개발했습니다 .
...
https://github.com/scrya-com/rotorquant
사람들이 계속 양자를 돌리고 있어요 ㄷㄷ
돌리니깐 빨라지고 감량되는 양자들 ㅠㅠ
친자 아니라고 너무 돌리네요...
댓글 (6)
-
JJava
04.09 · 116.♡.70.94
-
남남극백곰
→ Java 04.09 · 114.♡.188.135
삼둥이 가시죠
-
PPersona
04.09 · 121.♡.88.98
https://youtu.be/XLlQDfhyBjc?si=fuY3-qpKzTFr9pBx
관련 내용으로 테스트를 해본 유튜버가 있어 가지고 와 봅니다.
관심이 있으시면 즐거우실겁니다.
-
Ssky0runner
04.10 · 115.♡.39.60
음 완전히 이해했어.
-
애애플IIe
04.10 · 116.♡.43.179
저도 이거 몇일 전에 봤는데, 레딧에서 아래 댓글(번역) 보고 '완벽하게 이해했어' 짤과 같은 표정을 지었었죠. ㅎㅎ
이건 정말 영리한 엔지니어링 최적화로 보입니다만, 이론적인 관점에서 봤을 때 TurboQuant를 완전히 대체(drop-in replacement)할 수 있는 기술은 아니라고 생각합니다.TurboQuant의 강점은 전역 무작위 회전(Haar)에서 나옵니다. 이 방식은 모든 차원에 에너지를 분산시키고, 스칼라 양자화(scalar quantization)를 거의 최적에 가깝게 만드는 좌표 분포를 유도하죠. 반면 RotorQuant는 오직 3D 블록 내에서만 믹싱하기 때문에, 근본적으로 그 특성을 재현할 수 없습니다.
최악의 경우인 벡터(예: 원-핫 벡터)에서 그 결과가 확연히 드러납니다:TurboQuant: 약 128개 차원에 에너지를 분산시킴
RotorQuant: 에너지를 3개 차원 내에 가두어 둠
결과적으로 최대 좌표 값(magnitude)이 훨씬 높게 유지되는데, 이것이 바로 저비트(low-bit) 양자화의 성능을 떨어뜨리는 핵심 요인입니다. 이는 MSE(평균 제곱 오차)가 일관되게 더 나쁘게 나타난 작성자님의 합성 데이터 결과와도 일치하는 부분이고요.
그렇긴 해도, 벡터가 적대적(adversarial)이지 않고 어느 정도 정돈된(well-behaved) 상태인 KV 캐시 분포에서는 실전에서 잘 작동할 수 있다는 점은 납득이 갑니다. 따라서 실제 모델에서는 속도와 품질 사이의 트레이드오프가 매우 매력적일 수 있습니다.
요약하자면:이론적으로 TurboQuant와 동등하지는 않음
하지만 실무적으로는 매우 유용한 근사치가 될 가능성이 있음
이 방식이 정말 유효한지 검증하기 위해 (Perplexity나 Long-context 성능을 포함한) 전체 레이어의 엔드투엔드(end-to-end) 평가 결과를 꼭 보고 싶네요.
레딧 직접 링크가 안되나 보네요.. https://www.reddit.com/r/LocalLLaMA/에 올라온 글이었습니다.
https://www.reddit.com/r/LocalLLaMA/comments/1s44p77/rotorquant_1019x_faster_alternative_to_turboquant/ -
칼칼쓰뎅
04.10 · 124.♡.49.145
기왕 양자화 하는거... 데이터가 있다가도 없다가도 하도록 양자역학 안됩니까?
..... 죄송합니다.
댓글을 작성하려면 이 필요합니다.
그 양자는 정수배로 돌려야 빠른거 아닙니까? ㅋㅋㅋㅋ
쌍둥이를 낳읍시당~