1초 이내에 선명한 단안 시야 합성

본 논문에서는 단일 이미지로부터 사실적인 시점 합성을 수행하는 SHARP라는 접근 방식을 제시합니다. SHARP는 단일 사진이 주어지면 묘사된 장면의 3D 가우시안 표현의 매개변수를 회귀 분석합니다. 이 과정은 표준 GPU에서 신경망을 통한 단일 피드포워드 패스를 통해 1초 이내에 완료됩니다. SHARP가 생성한 3D 가우시안 표현은 실시간으로 렌더링되어 인접한 시점에 대해 고해상도의 사실적인 이미지를 생성할 수 있습니다. 이 표현은 절대 스케일을 사용하는 미터법 형식으로, 미터법 카메라 움직임을 지원합니다. 실험 결과는 SHARP가 다양한 데이터셋에서 강력한 제로샷 일반화 성능을 제공함을 보여줍니다. SHARP는 여러 데이터셋에서 최고 성능을 달성하며, 기존 모델 대비 LPIPS를 25~34%, DISTS를 21~43% 감소시키는 동시에 합성 시간을 세 자릿수만큼 단축합니다.

...

https://huggingface.co/apple/Sharp

이름 그대로 선명화 하는 모델인가 보죠~?

카테고리는 이미지를 3D로 변환인데.... 말입니다..