꼬부기부 (211.♡.204.156)
2026년 7월 16일 AM 10:44 · 수정 6회(10:55)
BottleCap AI 에서 Qwen3.6-27B의 지능의 손실은 없으면서 사고과정을 최적화 했다고 합니다.
사고 과정에 불필요한 토큰을 줄여서 평균 45% 정도 사고 과정이 줄였습니다.
특정 테스트에서는 결과가 나올때까지의 출력 시간이 6배 가량 빨라집니다.
MTP도 지원합니다.
huggingface : bottlecapai/ThinkingCap-Qwen3.6-27B
테스트
oMLX v0.5.1 M5 Pro (20c) 64GB
프롬프트 : 태양계 시뮬레이션하는 단독 html 파일 생성
모델 | PREFILL(T/S) | THINKING(S) | TOKEN GEN (T/S) |
|---|---|---|---|
Qwen3.6-27B-oQ4e-mtp | 5.3t/s (23 tok) | 19.3s (545 tok) | 30.2t/s (7630 tok) |
ThinkingCap-Qwen3.6-27B-oQ4e-mtp | 5.2t/s (23 tok) | 6.4s (108 tok) | 29.5t/s (7053 tok) |
THINKING 시간이 현저히 줄어든 것을 확인할 수 있었습니다.
결과물
일반 모델
ThinkingCap
최근 글
댓글 (5)
-
대대화상자
11:48 · 211.♡.184.49
-
CCaTo
12:32 · 112.♡.38.222
저는 써보니 결과물이 엉망이라 바로 내렸습니다
-
남남극백곰
14:03 · 223.♡.74.6
dgx spark에서 테스트 해 봤슴미다
ThinkingCap Qwen3.6-27B Q4_K_M GGUF + MTP 속도:
• 21.8 tok/s (101토큰, 4.6초)
• 프리필: 103ms (캐시 히트 포함)
• MTP: draft 86개 중 59개 수락 (68.6% acceptance rate)
씽킹 끄기(chat_template_kwargs.enable_thinking=false)도 정상 작동합니다.
- 꼬
꼬부기부
작성자 15:12 · 211.♡.204.156
좀 복잡한거 시키니까 별로 마음에 들지는 않네요.
- D
damoim
19:51 · 203.♡.3.227
“Qwen을 최적화했다~~” 류의 모델들은 (아직까지는) 다 그런 것 같습니다.
Qwen3.6 27B/35B는 워낙 SFT,RL 튜닝을 빡세게 해 규모대비 성능을 끌어올린거라, 정렬을 조금만 건드려도 성능이 확 떨어진다는 (사실은 자기 규모정도로 돌아가는?) 말을 들었던 것 같습니다.
댓글을 작성하려면 이 필요합니다.
비슷한 목적으로 system prompt에 사고과정에 불필요한 표현 쓰지 말고 최대한 기호화 하라고 해뒀는데 그걸로도 추론 과정이 2배 가량은 빨라 지더라고요. 소식 감사합니다. 얼마나 빨라 지는지 한번 테스트 해 봐야겠네요.