불과 몇 주 전, 저희는 지금까지 출시된 오픈 모델 중 가장 뛰어난 Gemma 4를 선보였습니다 . 출시 후 단 몇 주 만에 6천만 건 이상의 다운로드를 기록한 Gemma 4는 개발자 워크스테이션, 모바일 기기 및 클라우드 환경에 전례 없는 수준의 파라미터별 인텔리전스를 제공하고 있습니다. 오늘 저희는 효율성을 한층 더 끌어올리는 제품을 소개합니다.

Gemma 4 제품군용 멀티 토큰 예측(MTP) 드래프터를 출시합니다. 특수한 투기적 디코딩 아키텍처를 사용하는 이 드래프터는 출력 품질이나 추론 논리 저하 없이 최대 3배의 속도 향상을 제공합니다.

LiteRT-LM , MLX, Hugging Face Transformers 및 vLLM을 사용하는 하드웨어에서 테스트한 결과, 초당 토큰 처리 속도가 향상되었습니다 .

왜 추측에 기반한 해독을 하는 걸까요?

기술적 현실은 표준 LLM 추론이 메모리 대역폭에 제약을 받아 상당한 지연 시간 병목 현상을 일으킨다는 것입니다. 프로세서는 단 하나의 토큰을 생성하기 위해 수십억 개의 매개변수를 VRAM에서 연산 장치로 이동시키는 데 대부분의 시간을 소비합니다. 이는 특히 일반 소비자용 하드웨어에서 연산 자원 활용률 저하와 높은 지연 시간으로 이어집니다.

투기적 디코딩은 토큰 생성과 검증을 분리합니다. 고성능 타겟 모델(예: Gemma 4 31B)과 저성능 드래프터(MTP 모델)를 조합하면, 유휴 컴퓨팅 자원을 활용하여 드래프터가 타겟 모델이 토큰 하나를 처리하는 시간보다 짧은 시간 안에 여러 개의 미래 토큰을 동시에 "예측"할 수 있습니다. 그런 다음 타겟 모델은 이러한 예측된 토큰들을 병렬로 검증합니다.

추측적 해독은 어떻게 작동하는가

일반적인 대규모 언어 모델은 자기회귀 방식으로 텍스트를 생성하여 한 번에 정확히 하나의 토큰을 생성합니다. 효과적이긴 하지만, 이 과정은 명백한 다음 문장(예: "Actions speak louder than…" 다음에 "words"가 올 것을 예측하는 것)을 예측하는 데 투입하는 연산량과 복잡한 논리 퍼즐을 푸는 데 투입하는 연산량이 동일합니다.

MTP는 Google 연구원들이 "투기적 디코딩 을 통한 트랜스포머의 빠른 추론"에서 소개한 기술인 투기적 디코딩을 통해 이러한 비효율성을 완화합니다 . 대상 모델이 초안과 일치하면 단일 순방향 전달에서 전체 시퀀스를 수용하고, 그 과정에서 자체적으로 추가 토큰을 생성합니다. 즉, 애플리케이션은 일반적으로 토큰 하나를 생성하는 데 걸리는 시간 안에 전체 초안 시퀀스와 하나의 토큰을 모두 출력할 수 있습니다.

엣지에서 워크스테이션까지 더 빠른 AI 구현

개발자에게 있어 추론 속도는 프로덕션 배포의 주요 병목 현상인 경우가 많습니다. 코딩 도우미, 신속한 다단계 계획이 필요한 자율 에이전트, 또는 기기에서 완전히 실행되는 반응형 모바일 애플리케이션을 개발하든, 매 밀리초가 중요합니다.

Gemma 4 모델과 해당 드래프터를 함께 사용하면 개발자는 다음과 같은 이점을 얻을 수 있습니다.

• 응답성 향상: 실시간에 가까운 채팅, 몰입형 음성 애플리케이션 및 에이전트 기반 워크플로우에서 지연 시간을 획기적으로 줄입니다.

• 강력한 로컬 개발: 당사의 26B MoE 및 31B Dense 모델을 개인용 컴퓨터와 일반 소비자용 GPU에서 전례 없는 속도로 실행하여, 복잡하고 원활한 오프라인 코딩 및 에이전트 기반 워크플로우를 구현하십시오.

• 향상된 온디바이스 성능: 엣지 디바이스에서 E2B 및 E4B 모델의 활용도를 극대화하기 위해 출력 속도를 높여 배터리 수명을 절약할 수 있습니다.

• 품질 저하 없음: 기본 Gemma 4 모델이 최종 검증을 유지하기 때문에, 동일한 최첨단 추론 및 정확도를 훨씬 빠른 속도로 제공합니다.

NVIDIA RTX PRO 6000에서 Gemma 4 26B를 실행한 결과입니다. 표준 추론(왼쪽)과 MTP Drafter(오른쪽)를 초당 토큰 수로 비교했습니다. 출력 품질은 동일하지만 대기 시간은 절반으로 줄었습니다.

MTP 드래프터에 대해 더 자세히 알아볼 수 있는 곳입니다.

MTP 드래프터의 속도와 정확도를 극대화하기 위해 내부적으로 여러 아키텍처 개선 사항을 도입했습니다. 드래프트 모델은 대상 모델의 활성화 값을 원활하게 활용하고 KV 캐시를 공유하므로, 상위 모델이 이미 파악한 컨텍스트를 다시 계산하는 데 시간을 낭비할 필요가 없습니다. 최종 로짓 계산이 주요 병목 현상이 되는 E2B 및 E4B 엣지 모델의 경우, 임베더에 효율적인 클러스터링 기법을 구현하여 생성 속도를 더욱 향상시켰습니다.

저희는 하드웨어별 최적화에 대해서도 면밀히 분석해 왔습니다. 예를 들어, 26B 혼합 전문가 모델은 Apple Silicon에서 배치 크기가 1일 때 고유한 라우팅 문제를 야기하지만, 여러 요청을 동시에 처리하면(예: 배치 크기 48) 로컬에서 최대 약 2.2배의 속도 향상을 얻을 수 있습니다. 배치 크기를 늘릴 경우 Nvidia A100에서도 유사한 속도 향상을 확인할 수 있습니다.

이 기능이 어떻게 작동하는지 정확한 메커니즘을 알고 싶으신가요? 저희는 이러한 드래프터에 사용되는 시각적 아키텍처, KV 캐시 공유 및 효율적인 임베더를 자세히 설명하는 기술 자료를 게시했습니다.

시작하는 방법

Gemma 4 제품군의 MTP 드래프터는 Gemma 4와 동일한 오픈 소스 Apache 2.0 라이선스 하에 오늘부터 이용 가능합니다. Gemma 4에서 MTP를 사용하는 방법에 대한 자세한 내용은 문서를 참조하세요. Hugging Face , Kaggle 에서 모델 가중치를 바로 다운로드하여 transformers, MLX , VLLM , SGLang , Ollama를 사용한 더 빠른 추론을 실험해 보거나 , Android 또는 iOS 용 Google AI Edge Gallery에서 직접 사용해 볼 수 있습니다 .

새롭게 얻은 속도가 여러분이 젬마버스 에서 다음에 만들어낼 작품들을 얼마나 가속화할지 정말 기대됩니다 .

https://x.com/googledevs/status/2051700599184629994

오오~~ 구글이 직접 내놓은 드래프트 모델이로군요