EgoEdit

자기중심적 비디오 편집을 위한 데이터 세트, 실시간 스트리밍 모델 및 벤치마크

실시간 자기중심적 비디오 편집을 위한 프레임워크를 제안합니다. 본 시스템은 다음으로 구성됩니다. EgoEditData는 자기중심적 사례에 초점을 맞추고 까다로운 손 오클루전, 상호작용, 그리고 큰 자기운동 상황에서 객체 대체 및 제거를 특징으로 하는 10만 개의 비디오 편집 쌍으로 구성된 수동 큐레이션 데이터셋입니다. EgoEdit은 단일 H100에서 855ms의 첫 프레임 지연 시간으로 실시간으로 실행되고 실시간 증강 현실(AR) 상호작용을 지원하는 자기중심적 비디오 편집을 위한 최초의 실시간 자기회귀 모델입니다. EgoEditBench는 자기중심적 비디오 편집 시스템 평가를 위한 포괄적인 벤치마크입니다.

https://snap-research.github.io/EgoEdit/

간단요약: AR Mix 같은 AI 동영상 편집기 입니다.

Unified Video Editing with Temporal Reasoner

  기존 비디오 편집 방법은 심각한 상충 관계에 직면합니다. 전문가 모델은 정밀도를 제공하지만 마스크와 같은 작업별 사전 확률에 의존하여 통합을 저해합니다. 반대로, 통합 시간적 맥락 내 학습 모델은 마스크가 없지만 명확한 공간적 단서가 부족하여 명령-영역 매핑(instruction-to-region mapping)이 약하고 위치 추정이 부정확합니다. 이러한 갈등을 해결하기 위해, 본 연구에서는 사고 연쇄 추론에서 영감을 얻은 새로운 프레임 연쇄 접근법 인 VideoCoF를 제안합니다 .

  VideoCoF는 비디오 확산 모델이 대상 비디오 토큰을 생성하기 전에 추론 토큰 (편집 영역 잠재 데이터)을 먼저 예측하도록 하여 "보기 → 추론 → 편집" 절차를 구현합니다 . 이러한 명시적인 추론 단계는 사용자가 제공한 마스크의 필요성을 제거하는 동시에 정밀한 명령-영역 정렬과 세밀한 비디오 편집을 달성합니다. 또한, 이러한 추론 토큰을 활용하여 동작 정렬을 보장하고 훈련 기간 이후의 길이 외삽을 가능하게 하는 RoPE 정렬 전략을 도입합니다. 50,000개의 비디오 쌍 이라는 최소 데이터 비용으로 VideoCoF가 VideoCoF-Bench 에서 SOTA 성능을 달성함을 보여줌으로써 본 접근 방식의 효율성과 효과를 검증합니다.

https://videocof.github.io/

간단요약: 비디오 장면을 이해하고 편집합니다.