애플, 온디바이스 기반으로 실행할 수 있는 초고속 비전 언어모델을 공개 

입력 이미지 해상도 확장은 특히 텍스트가 풍부한 이미지 이해 작업에서 VLM(Vision Language Model)의 성능을 향상시키는 데 필수적입니다. 그러나 ViT와 같은 인기 있는 시각적 인코더는 많은 수의 토큰과 높은 인코딩 대기 시간으로 인해 고해상도에서 비효율적입니다.

다양한 운영 해상도에서 VLM의 비전 엔코더는 인코딩 지연 시간을 줄이고 LLM에 전달되는 시각적 토큰 수를 최소화하여 전체 지연 시간을 줄이는 두 가지 축을 따라 최적화할 수 있습니다.

이미지 해상도, 비전 지연 시간, 토큰 수 및 LLM 크기 간의 상호 작용에 대한 포괄적인 효율성 분석을 기반으로 해상도, 지연 시간 및 정확도 간의 최적화된 균형을 달성하는 모델인 FastVLM을 소개합니다.

FastVLM은 더 적은 수의 토큰을 출력하고 고해상도 이미지의 인코딩 시간을 크게 줄이도록 설계된 새로운 하이브리드 비전 인코더인 FastViTHD를 통합합니다.

이전 방법과 달리 FastVLM은 입력 이미지의 크기를 조정하는 것만으로 시각적 토큰 수와 이미지 해상도 간의 최적의 균형을 달성하므로 추가 토큰 정리의 필요성을 없애고 모델 설계를 단순화합니다.

LLaVA-1.5 설정에서 FastVLM은 이전 작업과 비교하여 VLM 벤치마크에서 유사한 성능을 유지하면서 TTFT(Time-to-First-Token)를 3.2배 개선했습니다. 최고 해상도(1152x1152)에서 LLaVa-OneVision과 비교했을 때, FastVLM은 동일한 0.5B LLM을 사용하면서도 85배 더 빠른 TTFT와 3.4배 더 작은 비전 인코더를 사용하여 SeedBench 및 MMMU와 같은 주요 벤치마크에서 유사한 성능을 달성합니다.​​​​