https://x.com/liranringel/status/2043813397972607477

DDTree를 소개합니다. DDTree는 한 번의 블록 확산 과정을 통해 트리를 생성한 후, 여러 개의 가능성 있는 연속 경로를 동시에 검증하여 추측적 디코딩 속도를 향상시킵니다.

https://liranringel.github.io/ddtree/DDTree.pdf

https://github.com/liranringel/ddtree

DFlash는 이미 매우 강력한 투기적 디코딩 기반 기술입니다. 한 번의 블록 확산 패스로 전체 블록을 예측할 수 있습니다. 하지만 기존 DFlash는 여전히 드래프트된 경로 중 하나만 검증합니다. DDTree는 이와 달리 드래프터의 위치별 분포를 활용하여 고정된 노드 예산 내에서 드래프트 트리를 구축합니다.

검증기는 트리 어텐션을 사용하여 한 번의 순방향 패스로 전체 트리를 평가합니다. DDTree는 손실이 없습니다. 검증이 대상 모델의 디코딩 규칙을 따르기 때문에 대상 모델의 출력 분포를 정확히 보존합니다.

보고된 모든 설정에서 DDTree는 60가지 데이터셋/모델/온도 조합 모두에서 일반 DFlash보다 더 높은 속도 향상을 보였습니다. HumanEval에서 최대 속도 향상은 8.22배, MATH-500에서 최대 수용 시간은 10.73초입니다.

인간의 언어로 쓰여진거 같은데... 뭔 소리인지 인간이 이해하기 어렵군요.

https://x.com/bstnxbt/status/2043696397388554447

DFlash. Speculative decoding for Apple Silicon. Stock MLX, no fork.

http://github.com/bstnxbt/dflash-mlx

@ 2048 tokens, M5 Max, stock mlx_lm baseline:

► Qwen3.5-4B: 53.74 → 219.83 tok/s (x4.10)

► Qwen3.5-9B: 30.96 → 127.07 tok/s (x4.13)

► Qwen3.5-27B-4bit: 32.35 → 62.78 tok/s (x1.90)

► Qwen3.5-35B-A3B-4bit: 142.12 → 240.21 tok/s (x1.69)

Block-diffusion draft generates 16 tokens in one pass:

► Target verifies in one pass.

► Every emitted token is verified.

► Lossless.