DFlash, Dtree 관련 기술들이 계속 변형되서 나오니깐 따라가기 힘드네요 ㄷㄷ

요즘 24GB 최대한 쓰기 도전하는 것도 많이 보이고...

여하튼 뭔가 또 좋은게 나온거 같아요!

RTX 3090에서 DFlash DDtree Qwen3.5 27B GGUF

DFlash 투기적 디코딩의 첫 번째 GGUF 포트입니다. 단일 RTX 3090에서 Qwen3.5-27B, Q4_K_M 타겟 + BF16 드래프트, DDTree 예산=22로 구현했습니다.

• 데모에서 최대 207 tok/s (DFlash 207.6 tok/s vs AR 38.0 tok/s, 5.46배)

• HumanEval 10-프롬프트 벤치에서 평균 129.5 tok/s

• 자기회귀 방식보다 3.43배 빠릅니다 (체인 투기적 디코딩 대비 15% 향상).

• 동일한 하드웨어에서 SGLang AWQ보다 2.8배 빠릅니다.

• TurboQuant TQ3_0 KV 캐시를 통해 24GB에서 최대 256K 컨텍스트 처리 가능 (128K Q4_0 벤치마크: ctx=131072에서 134.78 tok/s)

...

https://github.com/Luce-Org/lucebox-hub