폰 카메라와 단품 웹캠을 헤드 트래킹 장비로 활용하기 가이드입니다. 폰 카메라를 활용하는 경우에 초점을 맞췄지만 4 외에는 단품 웹캠을 활용하는 경우에도 거의 그대로 적용될 수 있습니다.

++

구글 검색 AI 모드

특정 게임에서 헤드 트래킹이 필요한 이유

헤드 트래킹은 플레이어의 머리나 시선 움직임을 추적하여 게임 화면에 실시간으로 반영하는 기술입니다. 비행·전투·주행 시뮬레이터 및 VR 게임에서 필수적인데, 그 이유는 시야 확보, 조작 편의성, 그리고 압도적인 몰입감을 동시에 제공하기 때문입니다.

게임에서 헤드 트래킹이 필요한 구체적인 이유는 다음과 같습니다.

● 직관적인 시야 확보와 상황 인식: 마우스나 조이스틱으로 시점을 조작하는 대신, 실제 고개를 돌려 주위를 둘러볼 수 있어 적기 추적이나 사각지대 확인이 즉각적으로 가능합니다.

● 멀티태스킹 조작의 용이성: 시점 조작을 머리에 맡김으로써, 두 손은 온전히 기체 조종이나 무기 발사 등 복잡한 조작에 집중할 수 있습니다.

● 압도적인 현실감과 몰입감: 계기판을 확인하거나 창밖의 풍경을 자연스럽게 응시할 수 있어 가상 현실 속 공간에 있는 듯한 높은 수준의 현장감을 선사합니다.

이 기술은 TrackIR, 웹캠 기반의 OpenTrack, 또는 VR 헤드셋을 통해 구현됩니다.

혹시 헤드 트래킹에 관심이 있으신가요? 그렇다면:

● 주로 즐기시는 게임 장르 (예: 비행 시뮬레이터, 유로트럭, VR 게임 등)

● 사용 중이시거나 고려 중이신 기기 환경 (웹캠 보유 여부, VR 헤드셋 종류)

알려주시면 님에게 맞는 최적의 설정 방법이나 추천 소프트웨어를 안내해 드릴 수 있습니다.

++

헤드 트래킹은 유로 트럭 같은 자동차 게임, DCS World 같은 비행시뮬 게임 등에 필요합니다. 전용 장비가 있지만 비싸고 가장 유명한 제품은 사용이 번거롭기까지 합니다. 폰 카메라나 단품 웹캠을 무료 소프트웨어와 결합시키면 헤드 트래킹이 그 제품 못잖게 잘 됩니다.

유로 트럭 https://www.youtube.com/watch?v=ExuJWxXGGY0

DCS World https://www.youtube.com/watch?v=a5UboGgtNE4

저는 현재 전용 헤드 트래킹 장비를 철거하고 폰으로 대체했는데, 전면 카메라 동영상 설정을 1280x720x30FPS 로 한 상태에서도 [즉 60FPS 가 아닌데도!!!] 너무나 부드럽게 잘 됩니다. 다만 폰을 웹캠 대용으로만 사용할 수는 없어서 알리에서 단품 웹캠을 주문했습니다.

5의 2)에서 언급된 프로파일은 DCS World 에 특화된 프로파일입니다. 유로 트럭 등 다른 게임에는 적합하지 않을 수도 있으니 테스트 해보시고 적합하지 않으면 적합한 프로파일을 수소문해 구하세요.

1_PC에 본인의 운영체제에 맞는 IrunWebCam 앱을 다운받아 설치합니다.

https://iriun.com/

2_폰에서 앱 스토어에 들어가 IrunWebCam 앱을 설치합니다. 'Pro'가 안 붙어 있는 무료 버전을 설치해도 핵심적인 기능 제한은 없습니다.

3_PC에 본인의 운영체제에 맞는 OpenTrack 앱을 설치합니다.

https://opentrack-opentrack.mintlify.app/installation

4_폰 설정

1) 폰 제조사가 만들어 넣은 기본 카메라 앱의 설정 중 각 카메라의 동영상 설정

• 헤드 트래킹 용도로는 1280x720X640FPS 나 640x480x60FPS 로도 충분합니다 1920x1080x60FPS 로 설정할 필요가 없습니다. 1280x720X60FPS 와 640x480x60FPS 둘 다 지원 안하고 1280x720X30FPS 는 지원하면 1280x720X30FPS 로 설정하세요.

2) 폰 설정의 디바이스 케어 항목 중 배터리 항목에서 고성능 모드를 선택합니다 (절전 안하기)

3) 폰 설정의 개발자 옵션에서 USB 디버그 모드를 선택합니다. 폰 설정에서 개발자 옵션이 뜨게 하는 법은 웹검색해 보세요.

4) 유전원 USB 허브의 PC 연결용 USB 포트와 PC의 USB 포트 중 가장 속도가 빠른 포트를 연결합니다. 물론 충전만 가능한 케이블로 연결하면 안 됩니다.

5) 유전원 USB 허브의 남는 USB 포트와 폰을 충전과 데이터 전송이 '동시에' 되는 USB 케이블로 연결하고 폰의 USB 연결 모드를 USB 테더링 모드로 지정합니다.

• 둘 다 되는 것과 '동시에' 되는 것은 다릅니다. 이 기회에 집에 있는 USB 케이블들을 테스트 해보세요.

• 4)+5)를 하면 폰의 충전과 폰과 PC 사이의 데이터 전송이 동시에 됩니다.

6) 폰에서 IrunWebCam 앱 실행하고 4의 1)에서 쓰기로 마음 먹은 카메라를 선택합니다. 이어서 PC에서도 IrunWebCam 앱 실행하면 잠시 후 폰과 PC에 영상이 뜹니다. 이 상태에서 본인의 얼굴이 화면에 나오게 폰을 모니터 상단이나 모니터와 키보드 사이에 거치합니다. 얼굴이 화면 중앙에 있지 않아도 되지만 얼굴 전체가 확실하게 보여야 합니다. 머리를 좌우 상하로 움직일 때 얼굴 일부라도 화면 밖으로 사라지면 안 됩니다. - -

5_OpenTrack 설정

1) 4를 완료하고 OpenTrack 을 실행하면 OpenTrack 에도 영상이 뜹니다.

• 혹시라도 안 뜨면 아래 (2)의 Camera Configurations 을 먼저 하세요.

2) https://www.digitalcombatsimulator.com/en/ 에서 Downloads -> User Files 로 들어가 OpenTrack 으로 검색하면 프로파일 파일들이 뜹니다. 그중 댓글이 가장 많이 달린 것 [2022년 11월 16일에 올라온 것] 을 받아 압축을 풀어

C:\windows\users\user(your username for your PC)\documents\opentrack버전넘버

에 넣은 다음 OpenTrack 의 메인 창의 Profile 에서 불러들여 다음과 같이 수정합니다.

(1) Input 에서 적절한 Tracker 를 선택합니다.

• 아주 많은 선택지가 있는데, 최근에 가장 인기를 끌고 있는 녀석이 NeuralNet Tracker 입니다. 다만, 웹캠의 diagonal fov 가 80도가 넘으면 트래킹이 잘 안 되니 diagonal fov 가 50도에서 80도 사이인 분들만 NeuralNet Tracker 를 선택하시고 80도가 넘는 분들은 aitrack 이라는 무료 프로그램을 깔고 (웹검색을 하면 바로 나옵니다) OpenTrack 에서 인풋을 UDP로 설정하세요. 이 경우 카메라 설정은 aitrack 에서 합니다.

(2) Options 에 들어가

• Shortcuts 에서 두 번째 칸의 바인드들을 클릭해 순서대로 중앙으로 화면 복귀, 트래킹 중단, 트래킹 시작, 토글에 키보드 키나 스틱 버튼이나 쓰로틀 버튼이나 마우스 버튼을 지정합니다. 중앙으로 화면 복귀는 스틱에 있는 버튼 중 엄지로 빨리 누를 수 있는 버튼으로 지정하는 것이 좋습니다.

• 트래킹 중단, 트래킹 시작은 입력 장치(카메라 등) 자체를 완전히 끄고 켜는 기능이며 (게임을 장시간 쉬거나 트래킹을 완전히 끝낼 때), 토글은 장치는 켠 채로 화면 속 시점만 그 자리에 일시 정지시키거나 일시 정치를 해제하는 기능 (게임 중 지도 확인, 채팅창 보기, 서브 모니터 응시, 마우스나 키보드로 스위치, 다이얼, 레버 조작 등을 할 때)입니다.

• Tracker 에 들어가 Camera Configurations 에서 Camera name 은 IrunWebCam 을 선택하고 해상도와 초당 프레임은 4의 1)과 일치하게 선택하세요.

• Filter 의 Smoothing 을 최대값으로 지정합니다.

(3) Tracking Start 를 클릭해서 머리를 상하좌우로 움직이면서 문어가 그 움직임을 인식하는지 확인합니다. 움직임의 방향을 반대로 인식한다면 Tracking Stop 을 클릭하고 Output 옵션에서 해당 축 (Yaw 이나 Pitch 나 둘 다) 의 Pre-invert 에 체크합니다다. Roll, X, Y 축은 아예 Disabled 시킵니다. 이 상태에서 다시 Tracking Start 를 클릭해 머리를 상하좌우로 움직이면서 문어가 그 움직임을 인식하는지와 Shortcuts 이 작동하는지 확인합니다. 중앙으로의 화면 복귀는 십자선 중앙에 문어 몸통이 정확히 위치하면 된 것입니다. - -

6_DCS World 에서

1) 설정 -> 기타 설정에서 'TrackIR 외부시점'에 체크합니다.

2) 플레이해서 헤드 트래킹이 부드럽고 정확하고 충분히 빠르게 잘 되는지 확인합니다. 십중팔구 잘 될 것입니다.

7_단품 웹캠을 사용할 것이냐 폰 카메라를 웹캠으로 사용할 것이냐

1) 단품 웹캠을 사용하면 아주 간단하게 모니터 상단 베젤에 고정하고 그냥 거기 계속 고정시켜 둘 수 있습니다.

2) 폰 카메라를 사용하면 [최적 해상도+최적 프레임률] 조합이 달성안 될 수도 있습니다. 참고로, 해상도가 높다고 무조건 좋은 것이 아닙니다. 640x480 으로 충분합니다. 다만 프레임률은 60을 추천 많이 합니다.

3) 폰에 따라 프레임률은 폰의 드라이버 수준에서 고정되어 있을 수도 있습니다. 폰이 1920x1980X60FPS 를 지원하니 1280x720 에서도 당연히 60FPS 를 지원하겠지 하는 생각이 안 통할 수도 있다는 것입니다. 삼성 구형 갤럭시폰(S9+)이 그런 경우입니다.

4) 프레임률이 60이냐 30이냐에 따른 차이를 느끼기 힘들더라도 이왕이면 프레임률이 60인 것이 좋습니다. 단품 웹캠을 마련할 생각이든 폰 카메라를 웹캠으로 사용할 생각이든 그 조건이 충족되는지 잘 확인해 보세요.

5) 중국산 저가 웹캠은 공통 표준 드라이버를 사용해서 1920x1080에서 60FPS 를 지원하는 것이 확실하면 그 미만 해상도들에서도 60FPS 를 지원할 가능성이 높습니다. 예를 들어, 가격이 2.5만원 미만인 다음 제품은 1280x720과 640 x 480에서 확실하게 60FPS 를 지원합니다. QHD와 FHD에서도 60FPS 를 지원하고 마이크 품질도 꽤 괜찮은 편이라고 하니 웹캠의 본래 용도로 사용해도 싼티가 전혀 안 날 것입니다.

https://ko.aliexpress.com/item/1005008554658389.html

단점도 있는데, diagonal fov 가 90도여서 얼굴이 화면의 극히 일부만 차지해 OpenTrack 에서 인풋을 NeuralNet Tracker 로 설정하면 트래킹이 잘 안됩니다. 범용성이 높은 것이 좋은 분들은 diagonal fov 가 50도에서 80도 사이인 제품을 구매하세요. 크롭을 하는 등 소프트웨어적인 해결책이 있다고 하지만 애초 귀찮은 수고를 안해도 되는 제품을 구매하는 것이 더 좋겠죠.

6) 단품 웹캠을 사용하면, 헤드 트래킹을 위해서라면 OpenTrack 외의 프로그램을 PC에 설치할 필요가 없습니다. 웹캠을 PC에 연결하기만 하면 그걸로 끝입니다. 다만, 웹캠에 설정용 프로그램이 따라올 수는 있습니다.

7) 단품 웹캠을 사용할 경우의 OpenTrack 설정과 폰 카메라를 웹캠으로 사용할 경우의 OpenTrack 설정은 방식상에서 아무런 차이도 없습니다. Camera name 만 정확히 선택하면 됩니다.