https://x.com/stevibe/status/2031732569331404857

드디어 엄청난 프로젝트를 손에 넣었습니다. Qwen3.5-122B-A10B — 1220억 개의 파라미터. 일반 소비자용 GPU 하나로는 감당하기엔 너무 큰 규모죠. 그래서 각 종류별로 4개씩, 그리고 전문가용 그래픽 카드까지 빌려서 성능 차이가 얼마나 큰지 확인해 봤습니다.

- RTX PRO 6000 (96GB) 1개: 101.4 tok/s

- RTX 5090 (128GB) 4개: 87.0 tok/s

- RTX 4090 (96GB) 4개: 25.1 tok/s

- RTX 3090 (96GB) 4개: 20.8 tok/s

결과적으로 8,500달러짜리 그래픽 카드 하나가 RTX 5090 4개를 이겼습니다.

ㄷㄷ Qwen3.5 122B는 얼마나 대단할지 궁금하네요

30B도 세상과의 문 (인터넷 브라우징)을 열어주면 ChatGPT 3.5~ 4?? 보다 똑똑한거 같던데 말입니다.

122B가 101.4 tok/s 씩 나오면 답답함도 없겠네요~