[ComfyUI] Depth Anything V3

Depth Anything V3 소개

본 연구에서는 카메라 포즈의 유무와 관계없이 임의의 시각 입력으로부터 공간적으로 일관된 기하 구조를 예측하는 모델인 Depth Anything 3(DA3) 을 제시합니다 . DA3는 최소한의 모델링을 추구하며, 두 가지 핵심적인 통찰력을 제공합니다.

🏆 DA3는 단안 깊이 추정에서 DA2 보다, 다중 시점 깊이 추정 및 자세 추정에서는 VGGT 보다 훨씬 우수한 성능을 보입니다. 모든 모델은 공개 학술 데이터셋을 사용하여 독점적으로 학습되었습니다 .

📰 뉴스

우리는 시각적 기하학의 특정 사용 사례에 맞춰 각각 맞춤화된 세 가지 모델 시리즈를 출시했습니다.

🌟 DA3 메인 시리즈 ( DA3-Giant, DA3-Large, DA3-Base, DA3-Small) 통합된 깊이-광선 표현으로 학습된 저희의 주력 기반 모델입니다. 입력 구성을 변경함으로써 단일 모델로 다양한 작업을 수행할 수 있습니다.
- 🌊 단안경 깊이 추정 : 단일 RGB 이미지에서 깊이 맵을 예측합니다.
- 🌊 다중 뷰 깊이 추정 : 고품질 퓨전을 위해 여러 이미지에서 일관된 깊이 맵을 생성합니다.
- 🎯 포즈 조건 기반 깊이 추정 : 카메라 포즈가 입력으로 제공될 때 뛰어난 깊이 일관성을 달성합니다.
- 📷 카메라 포즈 추정 : 하나 이상의 이미지에서 카메라의 외부적 요소와 내부적 요소를 추정합니다.
- 🟡 3D 가우시안 추정 : 3D 가우시안을 직접 예측하여 충실도가 높은 새로운 뷰 합성을 가능하게 합니다.
📐 DA3 메트릭 시리즈 ( DA3Metric-Large) 단안 환경에서 메트릭 깊이 추정을 위해 미세 조정된 특수 모델로, 실제 규모를 요구하는 애플리케이션에 이상적입니다.
🔍 DA3 단안경 시리즈 ( DA3Mono-Large). 고품질 단안경 상대 깊이 추정을 위한 전용 모델입니다. 시차 기반 모델(예: Depth Anything 2 )과 달리 깊이를 직접 예측하여 뛰어난 기하학적 정확도를 제공합니다.

🔗 이러한 사용 가능한 모델을 활용하여 중첩 시리즈 ( )를 개발했습니다 DA3Nested-Giant-Large. 이 시리즈는 모든 뷰의 거대 모델과 미터법 모델을 결합하여 실제 미터법 스케일에서 시각적 기하 구조를 재구성합니다.

저희 저장소는 실제 응용과 미래 연구 모두를 위한 강력하고 사용자 친화적인 툴킷으로 설계되었습니다.

🎨 대화형 웹 UI 및 갤러리 : 사용하기 쉬운 Gradio 기반 웹 인터페이스로 모델 출력을 시각화하고 결과를 비교합니다.
⚡ 유연한 명령줄 인터페이스(CLI) : 일괄 처리 및 사용자 정의 워크플로 통합을 위한 강력하고 스크립팅 가능한 CLI입니다.
💾 다양한 내보내기 형식glb : , npz, 깊이 이미지, ply, 3DGS 비디오 등 다양한 형식으로 결과를 저장하여 다른 도구와 원활하게 연결할 수 있습니다.
🔧 확장 가능하고 모듈식 디자인 : 코드베이스는 향후 연구와 새로운 모델이나 기능의 통합을 용이하게 하도록 구성되어 있습니다.

---------

본문에 사용한 커스텀 노드는 아래와 같습니다. 매니저에서 설치하실 수 있습니다.

X에서 보신 분 계실거 같지만...

성능이 훌륭하네요.