개인이 만든 개발중인 오픈소스 수준으로 보면

충분히 씽크 맞아보이는데요? 래딧에 달리 100개넘는 댓글봐도 싱크 문제를 거론하는 사람이 없습니다

그 부분도 AI가 더 발전하면 충분히 가능하지 않을까요?

앞으로 셋트장 안에서 모션캡처없이 카메라 찍는 것만으로도 저렇게 바로 3D모델링과 매핑 시키는거요

기본적으로 AI는 공간감에 약하기 때문에 2D에서 깊이감이 커질 수록 원하는 값을 뽑아내는 난이도가 올라갑니다.
들이는 노력이나 비용이 모셥캡쳐 쪽이 오히려 적게 든다는 이야기죠.
더불어서 모션 캡쳐는 그 과정에서 노이즈라고 해서 좀 불필요하게 캡쳐되는 정보들이 생겨서 그 동작이 매끄럽게 안뽑혀서 후보정에 상당한 시간이 들어가는데 후보정이 실시간으로 매끄럽게 처리하는데 관련 기술이 쓰이고 있죠.
이 정보다는 보이는 공간에 대한 처리라기 보다는 숫자들에 집합에 의한 처리라 지금 쓰이는 AI로 정리하기 수월한 쪽이니라 들어가는 공도 적은 편이고요.

"기본적으로 AI는 공간감에 약하기 때문에 2D에서 깊이감이 커질 수록 원하는 값을 뽑아내는 난이도가 올라간다"
는 지금의 이야기으로 보이는데...

앞으로 AI가 아무리 발전해도 계속 그럴거라고 확신하는 근거가 있나요?

소위 Depth라고 하는 깊이감에 대한 수치적인 정보를 2D에서 뽑아내는 난이도가 최상이거든요.
2D 정보와 3D 정보, 대표적으로 라이다로 뽑은 정보를 대입 해서 비교해보면 간단한 수준에서는 어느정도 정형성을 추측 가능하지만 이게 움직이기 시작하거 하면 예측 할 수 없는 부분이 엄청나게 커져서 각 점들이 어디로 나아갈지 까지 예측 할려먼 그 난이도가 미칠듯이 올라가는 부분이 있죠.
2D만 분석한다고 하면 1000x1000 해상도면 100만픽셀을 분석하고 끝나는 거지만, 경우의 수도 이 안에 있지만 , 이걸 3D로 완벽히 이해할려고 한다면 각 픽셀에 추가적인 엄청나게 많은 경우에 수를 더 해야 합니다.
관절에 주요포인트만 잡고 예측 할려 해도 보이지 않는 부분에서 예측 해야할 경우의 수가 대단히 많죠.
말그대로 굳이 그럴 공을 들이는 것보다 걷기 하나를 캡쳐해서 이 수치화된 데이터를 AI에게 넘겨서 그걸 변형해서 다양하게 이런 사람이 걷는 모습 저런 사람이 걷는 모습을 재생성 하고, 다양한 신체 구조와 수치를 가진 캐릭터들에 적용해서 쓰는 쪽이 수월하다는거죠.
물론 저런 기술이 영화 촬영에 큰 변화를 가져오긴 할겁니다.
가장 기대가 되는것은 사람과 CG 캐릭터 혹은 CG 사물과 서로 상호 작용이 있을때 배우가 항상 거추장스러운 캡쳐 장비나 캡쳐 포인트를 몸이 그리지 않아도 되고, 그림자 같은 것을 만들기 위해 CG 작업자가 디지털 더미를 만들지 않고도 그냥 3D데이터를 만들 수 있다는 것은 장점이 되는 쪽은 있지만 그렇다고 이게 모든 문제에 해답은 아닌 상황인거죠.