Bonsai27b(https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf)라는 모델을 소개합니다. Qwen 3.6 27b모델을 삼항(ternary)모델로 변환한 모델인데 크기가 겨우 2 ~8 giga밖에 하지 않습니다. 그럼에도 불구하고 벤치마크 상으로는 성능이 꽤 괜찮네요.

다만, 이게 좀 스페셜한 llama.cpp가 필요합니다.

Ternary를 돌리는 방법

# PrismML 포크의 prism 브랜치 사용
git clone -b prism https://github.com/PrismML-Eng/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON  # 또는 -DGGML_METAL=ON
cmake --build build -j

왜 필요한가?

Ternary는 {-1, 0, +1} 3개 값을 Q2_0_g128 형식으로 인코딩하는데, 표준 llama.cpp에는 이 커널이 없습니다. PrismML이 커스텀 2-bit 하이브리드 어텐션 커널을 직접 작성해서 prism 브랜치에 넣었습니다.

바이너리도 제공

빌드 귀찮으면 PrismML llama.cpp 릴리스에서 macOS/Linux/Windows 사전 빌드를 받을 수 있어요.

Sources: llama.cpp Docs · Ternary-Bonsai-8B-gguf · Ternary-Bonsai-27B-gguf