M3Ultra 512G 모델을 가지고도 agentic task 는 prompt processing 이 너무 오래 걸려서 (수분 단위)
주고 받는 일이 잦은 OpenClaw 같은 agent 는 거의 쓸 수 없는 수준 이었습니다.

대답 한번에 10분씩 걸리면 쓸수가 없는거죠. 생성은 제법 빠르지만 프리필이 너무 너무 올래 걸렸습니다.

하지만 조금전 oMLX 를 깔아보고 쇼크를 먹었습니다. 진즉 만났어야 했는데...
https://github.com/jundot/omlx
이건 KV cache 를 너무 잘해주어서 OpenClaw 와 붙여도 수초 단위로 대답을 하네요.

저만 몰랐던걸까요?
그 체감이 너무나 극적이라 너무 너무 행복합니다. 만세. 입니다. 정말 입니다.
눈물이 막 나려고 합니다.