Qwen3-VL(비전랭귀지) 소개
D
DINKIssTyle (61.♡.73.102)
2025년 9월 24일 PM 03:51 · 수정됨(17:32)
조회 701 공감 0
...
https://github.com/QwenLM/Qwen3-VL
블로그 내용
오늘, 저희는 완전히 새로워진 Qwen3-VL 시리즈를 공식 출시합니다. Qwen 제품군 중 역대 가장 강력한 시각 언어 모델입니다. 이번 세대에서는 텍스트 이해 및 생성, 시각 콘텐츠 인식 및 추론, 긴 맥락 지원, 공간 관계 및 동적 비디오 이해, AI 에이전트와의 상호 작용 등 다방면에 걸쳐 큰 발전을 이루었습니다. Qwen3-VL은 모든 영역에서 명확하고 의미 있는 발전을 보여줍니다.
먼저, 이 시리즈의 주력 모델인 Qwen3-VL-235B-A22B를 오픈소스로 공개합니다. Instruct 버전과 Thinking 버전으로 모두 제공됩니다. Instruct 버전은 주요 시각 인식 벤치마크에서 Gemini 2.5 Pro와 동등하거나 더 뛰어난 성능을 보입니다. Thinking 버전은 다양한 다중 모드 추론 벤치마크에서 최첨단 결과를 달성합니다.
Qwen3-VL의 목표는 단순히 이미지나 영상을 "보는" 것이 아니라, 세상을 진정으로 이해하고, 사건을 해석하고, 행동으로 옮기는 것입니다. 이를 위해 저희는 핵심 역량을 체계적으로 업그레이드하여 시각적 모델을 단순한 "지각"에서 더 깊은 "인지"로, 그리고 기본적인 "인식"에서 고급 "추론 및 실행"으로 확장해 왔습니다.
주요 내용:
- 비주얼 에이전트 기능 : Qwen3-VL은 컴퓨터 및 모바일 인터페이스를 조작하여 GUI 요소를 인식하고, 버튼 기능을 이해하고, 도구를 호출하고, 작업을 완료할 수 있습니다. OS World와 같은 벤치마크에서 세계 최고 수준의 성능을 달성했으며, 도구를 활용하면 세밀한 인식 작업에서도 성능이 크게 향상됩니다.
- 탁월한 텍스트 중심 성능 : Qwen3-VL은 텍스트와 시각적 모달리티의 초기 단계 공동 사전 학습을 활용하여 언어 역량을 지속적으로 강화합니다. 텍스트 기반 과제에서의 성능은 주력 언어 모델인 Qwen3-235B-A22B-2507과 동일하며, 차세대 시각 언어 모델을 위한 진정한 "텍스트 기반, 다중 모달 파워하우스"라고 할 수 있습니다.
- 대폭 개선된 시각적 코딩 : 이제 이미지나 비디오에서 코드를 생성할 수 있습니다. 예를 들어, 디자인 모형을 Draw.io, HTML, CSS 또는 JavaScript 코드로 전환하여 "보이는 그대로 얻는" 시각적 프로그래밍이 현실이 됩니다.
- 훨씬 더 나은 공간 이해 : 절대 좌표에서 상대 좌표로의 2D 접지. 객체 위치, 시점 변화, 그리고 오클루전 관계를 판단할 수 있습니다. 3D 접지를 지원하여 복잡한 공간 추론 및 구현된 AI 애플리케이션의 기반을 마련합니다.
- 긴 컨텍스트 및 긴 비디오 이해 : 모든 모델은 기본적으로 25만 6천 개의 컨텍스트 토큰을 지원하며, 최대 100만 개의 토큰까지 확장 가능합니다. 즉, 수백 페이지의 기술 문서, 전체 교과서, 심지어 2시간 분량의 비디오까지 입력할 수 있으며, 모델은 모든 것을 기억하고 비디오의 정확한 초 단위까지 정확하게 검색합니다.
- 더욱 강력한 다중 모드 추론(사고 버전) : 사고 모델은 STEM 및 수학 추론에 특별히 최적화되어 있습니다. 복잡한 과목 문제에서 세부적인 부분을 파악하고, 문제를 단계별로 분석하고, 원인과 결과를 분석하며, 논리적이고 증거 기반의 답변을 제공합니다. MathVision, MMMU, MathVista와 같은 추론 벤치마크에서 뛰어난 성능을 발휘합니다.
- 업그레이드된 시각적 인식 및 인지 : 사전 학습 데이터의 품질과 다양성을 개선함으로써 이 모델은 이제 유명인, 애니메이션 캐릭터, 제품, 랜드마크부터 동물과 식물까지 훨씬 더 광범위한 객체를 인식할 수 있으며, 이는 일상생활과 전문적인 "무엇이든 인식" 요구 사항을 모두 충족합니다.
- 더 많은 언어 및 복잡한 장면에서 향상된 OCR : OCR이 이제 10개 언어에서 32개 언어로 지원하여 더 많은 국가와 지역을 지원합니다. 조명이 어둡거나 흐릿하거나 기울어진 텍스트와 같은 까다로운 실제 환경에서도 더욱 안정적으로 작동합니다. 희귀 문자, 고대 문자 및 기술 용어에 대한 인식 정확도도 크게 향상되었습니다. 긴 문서를 이해하고 세부 구조를 재구성하는 능력도 더욱 향상되었습니다.
모델 성능
본 연구에서는 대학 수준의 종합 문제, 수학적 및 과학적 추론, 논리 퍼즐, 일반적인 시각적 질의응답, 주관적 경험 및 지시 이행, 다국어 텍스트 인식 및 차트/문서 구문 분석, 2D/3D 객체 접지, 다중 이미지 이해, 체화 및 공간 지각, 비디오 이해, 에이전트 작업 실행, 코드 생성 등 10가지 차원에 걸쳐 모델의 시각적 역량을 종합적으로 평가했습니다. 전반적으로 Qwen3-VL-235B-A22B-Instruct는 비추론 모델 중 대부분의 지표에서 최고 성능을 달성하여 Gemini 2.5 Pro 및 GPT-5와 같은 폐쇄형 소스 모델보다 월등히 우수한 성능을 보였습니다. 또한, 오픈소스 다중모달 모델 중에서도 최첨단 결과를 도출하여 강력한 일반화 능력과 복잡한 시각 작업에 대한 종합적인 성능을 입증했습니다.
...
이 주소 하단부에 데모 케이스가 있습니다.
-----
활용 가능성은 광범위한데...
당장 간단한 방법은 떠오르지 않는군요.
댓글 (2)
-
기기적
25.09.24 · 211.♡.43.130
- D
DINKIssTyle
→ 기적 작성자 25.09.24 · 61.♡.73.102
우와... 대신 유튜브를 볼거라는 생각은 안했는데.. 되는군요...
소개 된 기능을 다 지원해줄만한 툴이 나오면 좋겠네요
댓글을 작성하려면 이 필요합니다.
유튜브 링크의 동영상 내용을 인식해서 동영상 등장 캐릭터가 입은 옷에 적힌 글자를 알아냅니다.
[https://s3.damoang.net/data/editor/2509/comment_3553045378_XSLfnVZd_56fbe2f91ec31855c8d3911a2e71ff2b535c1c32.webp]