기존 사용하던 qwen3.5-122b가 생각보다 멍청하고 램을 많이 사용해서 여유램이 부족하니 다른걸 찾아 봐야지 하고 찾아 봤슴미다

허깅페이스에 nvidia에서 개조한 버전이 올라왔는데

qwen3.6-27b dense , qwen3.6-35b-a3b 이렇게 임미다

처음 덴스모델이 좋다고 해서 다운받고 사용해 봤는데... 넘넘 느리네요

그래서 다시 122b로 가야 하나 하다가 35b가 비슷한 성능이라고 해서 일단 다운받았는데 스파크용 옵션이 있슴미다

그래서 다 적용하고 vllm에 올리고 토큰생석속도를 측정해 보니

| 항목   | 27B (이전) | 35B-A3B (현재) |
| ---- | -------- | ------------ |
| 컨텍스트 | 131K     | 262K         |
| VRAM | 98GB     | 22GB         |
| RAM  | 109GB    | 79GB (캐시 포함) |
| 속도   | 9 tok/s  | 105 tok/s    |

대충 이정도 나옴미다 105토큰은 오픈코드 적용 안 한 상태에서 한거라 실제로 오픈코드 적용한건 더 낮은 토큰생성이 나오는데 그래도 80개 이상은 나와줌미다

이정도면 실사용에 아무런 문제가 없죠

스파크 2대면 딥싴4플래시를 운용 가능하다던데.... 미니맥스3도 된다던데... 부럽요