넷플릭스, 비디오 품질 향상을 위해 FGS(필름 그레인 합성) 적용 시작

필름 그레인 합성(FGS, film grain synthesis)은 넷플릭스가 시리즈 및 영화 카탈로그에 적용한 최신 기술 혁신 및 개선 사항입니다.

특히 비디오 부분과 관련되며, IMAX 70/15(크리스토퍼 놀란의 차기작), 비스타비전(‘브루탈리스트’ 또는 폴 토마스 앤더슨과 디카프리오의 차기작 ‘어나더 배틀’), 35mm(‘노스페라투’), 16mm 또는 심지어 8mm와 같은 포토케미컬 포맷으로 녹화된 원본 콘텐츠에 적용됩니다.

넷플릭스는 이미 전 세계적으로 약 300개의 타이틀에 AV1 코덱으로 필름 그레인 합성을 제공하고 있습니다. 여기서 주목할 점은 이 기술이 필름 그레인의 시각적 질감을 보존하면서도 충실하게 표현하는 데 필요한 비트 전송률을 줄인다는 것입니다. 그레인은 녹화의 고유한 구성 요소일 뿐만 아니라, 창작팀이 사용하는 유제(코닥, 후지, 400 ASA, 50 ASA…)에 따라 의도적으로 예술적인 요소로 사용되기도 합니다.

넷플릭스는 2021년에 AV1 내에서 FGS를 제한된 수의 타이틀에 처음 활성화했습니다. 그러나 2025년 3월부터는 더 많은 카탈로그로 확장하여 고전 아시아 영화의 1080p 및 4K 콘텐츠에 집중하고 있습니다. 예시로 스트리밍 운영업체 자체에서 강조하는 두 작품인 '그들은 타이론을 복제했다'와 '바후발리 2'가 있습니다.

넷플릭스는 이 개선 사항을 아시아 영화뿐만 아니라 카탈로그의 더 많은 타이틀로 점차 확대할 계획이라고 밝혔습니다. 기존 자료의 전체 라이브러리를 재코딩하여 다른 마스터를 생성해야 하므로 상당한 노력이 필요합니다. 엄청난 양의 새로운 정보가 필요합니다.

기술적으로 어떻게 작동하는지 자세히 알아보기 전에 넷플릭스의 원본 정보를 간략한 질의응답으로 요약해 보겠습니다.

어떻게 작동하나요?

FGS는 인코딩하기 전에 원본 자료의 노이즈를 제거한 다음 재생 중에 합성된 그레인 패턴으로 다시 도입합니다. 이를 통해 인코더는 더 깨끗한 신호를 인코딩하여 그레인을 제거하지 않고도 비트 전송률을 줄일 수 있습니다. 평균적으로 1080p+ 콘텐츠는 비트 전송률이 36% 감소했습니다.

스트리밍에서 그레인 구조를 전송하고 표현하는 데 필요한 대역폭이 36% 감소합니다.

이는 업계 전반에 걸쳐 알려진 사실이며, 이러한 발전은 이를 확인하고 유리하게 사용합니다. 지금까지 사용 가능한 코덱으로는 영화의 그레인을 충실하게 보존하려면 사용되는 비트 전송률을 상당히 늘려야 했습니다.

카탈로그의 모든 영화에 영향을 미치나요?

아니요. 이 개선 사항은 특히 포토케미컬 방식으로 촬영된 콘텐츠를 대상으로 합니다. 하지만 배타적인 것은 아닙니다. 애니메이션 영화부터 실사 시리즈까지, 후반 작업에서 포토케미컬 그레인 시뮬레이션 레이어를 추가한 모든 디지털 제작물(매우 일반적임)도 필름 그레인 합성의 혜택을 받습니다.

이 개선 사항을 보려면 무엇이 필요한가요?

우선 장치가 AV1 코덱과 호환되어야 합니다. 특히 TV와 외부 플레이어(사용하는 경우)가 중요합니다. 실제로 FGS는 이 비디오 코덱에서 필수 사항입니다. 코딩에서 사용하지 않도록 선택할 수도 있지만 모든 AV1 비디오 인코더는 설정에 필수로 포함되어 있습니다.

AV1을 사용하지 않으면 어떻게 되나요?

여전히 갈 길이 멉니다. ‘Alliance for open media’(AOM)의 필름 그레인 합성 사양은 재생이 SEI 메시지, 즉 사용자에게 수신되는 그레인 모델이 포함된 데이터 블록을 해석할 수 있는 경우 H.264, HEVC 또는 VVC와 같은 다른 코덱에도 동일한 인지적 이점과 비트 전송률 이점을 적용할 수 있습니다.

다른 말로 하면, HEVC(H.265)에 FGS가 있거나 VVC(Versatile Video Codec, H.266으로도 알려짐)와 같이 덜 널리 사용되지만 지원이 좋은 코덱은 재생에서 자체적인 채택 과제에 직면해 있습니다. AV1과 달리 표준의 일부가 아니기 때문에 각 회사 또는 서비스에서 자발적으로 결정해야 합니다.

HDR은 어떻게 되나요?

2025년 7월 현재 대부분의 타이틀에서 필름 그레인 합성은 콘텐츠가 표준 다이내믹 레인지(SDR)로 스트리밍될 때만 사용할 수 있습니다. 더 자세한 내용은 제공되지 않지만 다른 이유보다 이 작업의 복잡성으로 인한 일시적인 제한 사항으로 보입니다. 당분간 HDR은 실제로 보려면 기다려야 합니다.

Dolby Vision보다 나은가요?

직접적으로 비교할 수 있는 문제는 아닙니다. 저를 자주 읽으시는 분들은 제가 Dolby Vision에 얼마나 관심이 있는지 이미 아실 겁니다. 하지만 Dolby Vision은 다이내믹 레인지, 색상 정확도, 그리고 부분적으로는 일부 프로필(특히 UHD Blu-ray 디스크의 P7 FEL)의 최적화된 코딩에 중점을 둡니다. FGS가 활성화된 AV1은 비트 전송률 효율성과 필름 그레인의 미학에 중점을 둡니다.

그레인이 많은 콘텐츠의 경우 FGS가 포함된 AV1은 HEVC(H.265)를 통해 Dolby Vision 스트림에서 해당 그레인을 직접 코딩하는 것보다 잠재적으로 더 효율적이고 시각적으로 충실한 경험을 제공할 수 있습니다.

AV1과 FGS 심층 분석

셀룰로이드 스캔에서 후반 작업에 추가된 원본 필름 그레인은 필름 현상 중에 미세한 은염 입자로 형성되며 단순한 시각 효과 그 이상입니다. 이는 내러티브에서 핵심적인 역할을 하며 영화의 깊이를 높이고 사실감을 높이는 데 기여합니다. 그러나 필름 그레인은 독창적인 만큼 파악하기 어렵습니다. 무작위적인 특성 때문에 압축이 매우 어렵습니다. 기존의 압축 알고리즘은 이를 처리하는 데 어려움을 겪기 때문에 그레인을 보존하거나 파일 크기를 줄이는 것 중에서 선택해야 하는 경우가 많습니다.

디지털 카메라 시대에도 노이즈는 비디오 콘텐츠에 항상 존재하는 요소입니다. 카메라 센서의 노이즈는 자체적인 특성을 도입합니다(Sony, ARRI, RED…). 또한 많은 영화 제작자는 분위기를 연출하거나 단순히 이미지의 극단적인 디지털 완벽함을 제거하기 위해 후반 작업 중에 의도적으로 그레인을 추가합니다. 이러한 요소는 기존 압축 방식에 도전하는 시각적으로 풍부한 경험을 만들어냅니다.

AV1 및 FGS로 처리된 프레임 3/3

자세히: FGS는 어떻게 작동하나요?

AV1 필름 그레인 합성 도구는 두 가지 주요 구성 요소를 통해 필름 그레인을 모델링합니다.

필름 그레인 패턴: 자기 회귀(AR) 모델은 필름 그레인 패턴을 복제하는 데 사용됩니다. 주요 매개변수는 AR 계수이며, 원본 비디오와 명칭이 지정된 비디오 간의 잔차에서 추정하여 본질적으로 노이즈를 캡처할 수 있습니다.

이 모델은 그레인 샘플 간의 공간적 상관 관계를 캡처하여 원본 콘텐츠의 노이즈 특성을 정확하게 보존합니다. 자기 회귀 계수를 조정하여 모델은 그레인 모양을 제어하여 더 두껍거나 더 가늘게 만들 수 있습니다.

이러한 계수를 사용하여 아래 애니메이션에 나와 있는 것처럼 64x64 노이즈 템플릿이 생성됩니다. 재생 중에 노이즈 레이어를 구성하기 위해 32x32 크기의 임의 패치가 64x64 노이즈 템플릿에서 추출되어 디코딩된 비디오에 추가됩니다.

필름 그레인 패턴

필름 그레인 강도: 스케일링 함수는 장면 조명에 따라 다양한 조건에서 그레인 모양을 제어하는 데 사용됩니다. 인코딩 프로세스 중에 추정된 이 함수는 수학 함수를 통해 픽셀 값과 노이즈 강도 간의 관계를 모델링합니다.

이를 통해 비디오의 밝기와 색상에 따라 그레인 강도를 정확하게 조정할 수 있어 매우 효과적이고 정확합니다. 결과적으로 필름 그레인 강도는 이미지 영역에 맞게 조정되어 원본 비디오의 모양을 충실하게 재현합니다. 다음 애니메이션은 스케일링 함수를 통해 그레인 강도가 어떻게 조정되는지 보여줍니다.

FGS가 포함된 AV1의 이점 요약

-- 더 낮은 초기 및 평균 비트 전송률: 재생 시작 시 비트 전송률은 24% 감소했고 평균 비트 전송률은 31.6% 감소하여 네트워크 대역폭 요구 사항과 다운로드된 스트림의 저장 필요성이 줄었습니다.

-- 재생 오류 감소: 재생 오류율이 약 3% 감소했습니다.

-- 리버퍼링 감소: 더 낮은 비트 전송률 덕분에 리버퍼링이 10% 줄었고 리버퍼링 지속 시간이 5% 줄었습니다.

-- 더 빠른 재생 시작: 더 낮은 비트 전송률로 인해 재생 시작 지연이 10% 감소하여 장치가 대상 버퍼 수준에 더 빠르게 도달하는 데 도움이 될 수 있습니다.

-- 향상된 재생 안정성: 비트 전송률이 현저하게 떨어지는 현상이 10% 감소했고, 사용자가 비디오 재생 중에 재생 위치를 조정하는 데 소요하는 시간이 10% 감소했습니다. 이는 비트 전송률 감소와 리버퍼링의 영향을 받았을 가능성이 큽니다.

-- 더 높은 해상도 스트리밍: 시청 시간의 약 0.7%가 더 낮은 해상도(≤ 1080p)에서 4K 호환 장치의 2160p로 이동했습니다. 이러한 변화는 스위칭 포인트에서 비트 전송률이 감소하여 세션 중에 최대 해상도에 더 쉽게 도달할 수 있기 때문입니다.