{video: https://video.twimg.com/amplify_video/1970949231260151808/vid/avc1/1962x1080/KwI5ms5sOlRHrEEn.mp4 }​

Lyra: 비디오 확산 모델 자체 증류를 통한 생성적 3D 장면 재구성

자체 증류 프레임워크는 비디오 확산 모델의 암묵적 3D 지식을 명시적 3D 가우시안 스플래팅 표현으로 변환하여 텍스트나 이미지에서 3D 장면을 생성할 수 있도록 합니다.

가상 환경을 생성하는 능력은 게임부터 로봇 공학, 자율 주행, 산업용 AI와 같은 물리적 AI 도메인에 이르기까지 다양한 애플리케이션에 필수적입니다.현재 학습 기반 3D 재구성 방법은 캡처된 실제 멀티 뷰 데이터의 가용성에 의존하는데, 이는 항상 쉽게 사용할 수 있는 것은 아닙니다.최근 비디오 확산 모델 의 발전은 놀라운 상상력 능력을 보여주었지만, 2D 특성으로 인해 로봇이 환경을 탐색하고 상호 작용해야 하는 시뮬레이션에 대한 애플리케이션이 제한됩니다.이 논문에서는 비디오 확산 모델 의 암묵적 3D 지식을 명시 적 3D 가우시안 스플래팅 ( 3DGS ) 표현으로 증류하여 멀티 뷰 학습 데이터가 필요 없도록 하는 자체 증류 프레임워크를 제안합니다.특히, 일반적인 RGB 디코더를 RGB 디코더 의 출력으로 감독되는 3DGS 디코더 로 보강합니다 .이 접근 방식에서 3DGS 디코더는 비디오 확산 모델 에서 생성된 합성 데이터로만 학습할 수 있습니다 . 추론 시점에, 본 모델은 텍스트 프롬프트 또는 단일 이미지로부터 3D 장면을 합성하여 실시간 렌더링을 수행할 수 있습니다. 본 프레임워크는 단안 입력 영상으로부터 동적 3D 장면 생성 까지 확장됩니다. 실험 결과는 본 프레임워크가 정적 및 동적 3D 장면 생성 에서 최고 수준의 성능을 달성함을 보여줍니다 .

https://huggingface.co/papers/2509.19296

설명:

Lyra는 3D/4D 피드포워드 3D 가우시안 스플래팅(3DGS) 재구성 모델입니다. 사전 학습된 비디오 확산 모델을 피드포워드 3D 가우시안 스플래팅(3DGS) 생성기로 정제하여 이를 구현합니다. Lyra는 비디오 출력의 고유한 3D 일관성을 활용하여 2D 렌더링을 3DGS 디코더에 맞춰 조정함으로써 3D 데이터 세트나 모델 미세 조정의 필요성을 없애줍니다. 생성된 합성 멀티뷰 데이터를 사용하여 디코더가 비디오 모델의 잠재 공간에서 직접 작동하여 3D 가우시안을 생성하도록 학습시킵니다. 이 프레임워크는 실시간 렌더링을 지원하고 단일 뷰 및 비디오 입력을 모두 지원하는 3D/4D 장면 생성을 위한 새로운 차원의 기술을 제시합니다.

이 모델은 상업적으로 사용할 준비가 되었습니다.

...

입력:

입력 유형: 카메라 매개변수, 이미지

입력 ​​형식: 1차원(1D) 카메라 포즈 배열, 2차원(2D) 이미지 배열.

입력 매개변수: 카메라 포즈(1D), 이미지(2D)

입력 관련 기타 속성: 입력 이미지는 720 * 1080 해상도여야 하며, 카메라 매개변수에는 121 프레임을 사용하는 것이 좋습니다.

산출:

출력 유형: 3차원(3D) 가우시안 장면

출력 형식: 포인트 클라우드 파일(예: .ply)

출력 매개변수: M개의 3D 가우시안 집합. 각 가우시안은 속성 집합으로 정의됩니다.

출력 관련 기타 속성: 출력은 2D 이미지 시퀀스가 ​​아니라 장면을 렌더링하는 데 사용되는 3D 기본 요소 집합입니다. 각 M개의 가우시안에 대한 주요 속성은 다음과 같습니다.

위치(평균): 3D 공간에서 가우시안의 중심을 정의하는 3D 벡터(x,y,z).

공분산(모양 및 방향): 타원체의 모양과 회전을 정의합니다. 일반적으로 3차원 축척 벡터(s_x, s_y, s_z)와 4차원 회전 쿼터니언(r_w, r_x, r_y, r_z)으로 저장됩니다.

색상: 가우시안 색상을 나타내는 3-벡터(R, G, B). 이는 시점에 따라 달라지는 색상 효과를 위해 더 복잡한 구면 고조파(SH) 계수로도 표현될 수 있습니다.

불투명도: 가우시안의 투명도를 제어하는 ​​스칼라 값(α)입니다.

당사의 AI 모델은 NVIDIA GPU 가속 시스템 A100 및 H100에서 실행되도록 설계 및/또는 최적화되었습니다. NVIDIA의 하드웨어(예: GPU 코어)와 소프트웨어 프레임워크(예: CUDA 라이브러리)를 활용하여 CPU 전용 솔루션보다 학습 및 추론 시간이 더 빠릅니다.

https://huggingface.co/nvidia/Lyra

Github

https://github.com/nv-tlabs/lyra

---

GPU 메모리 이런 요구사항 중 이런 내용이 있습니다..

Lyra는 H100 및 A100 GPU에서만 테스트했습니다. 메모리가 제한된 GPU의 경우, SDG 명령에 다음 플래그를 추가하여 모든 모델을 완전히 오프로드할 수 있습니다.

전체 오프로드를 사용한 추론 중 관찰된 최대 메모리: ~43GB. 참고: 메모리 사용량은 시스템 사양에 따라 다를 수 있으며 참조용으로만 제공됩니다.

rtx 쓰는 일반인들이 범접하기는 아직 어려울 거 같아요.