https://github.com/jundot/omlx/releases/tag/v0.5.0.dev2

주요기능 중에 Lightning MTP 라는 것이 눈에 띕니다.

이번에 새롭게 나온 양자화 oQe 모델로 벤치마크를 돌려보았습니다.

출력토큰 속도가 30대가 나오네요.

4bit 양자화이기때문에 얼마나 일을 잘해줄지는 실제 코딩을 하면서 테스트 해봐야겠습니다.

oMLX - LLM inference, optimized for your Mac
https://github.com/jundot/omlx
Benchmark Model: Qwen3.6-27B-oQ4e-mtp
Engine: Auto
================================================================================

Single Request Results
Test                TTFT(ms)    TPOT(ms)        pp TPS        tg TPS      E2E(s)    Throughput    Peak Mem
pp1024/tg128          2286.0       31.90   447.9 tok/s    31.6 tok/s       6.356   181.3 tok/s    16.74 GB
pp4096/tg128          8983.6       31.02   455.9 tok/s    32.5 tok/s      12.948   326.2 tok/s    18.16 GB
pp8192/tg128         18706.4       34.90   437.9 tok/s    28.9 tok/s      23.166   359.1 tok/s    19.20 GB
pp16384/tg128        48031.7       34.05   341.1 tok/s    29.6 tok/s      52.402   315.1 tok/s    19.51 GB
pp32768/tg128       123238.3       39.08   265.9 tok/s    25.8 tok/s     128.237   256.5 tok/s    21.28 GB