스마트폰으로 사진을 점점 더 많이 찍게 되면서, 실제 문제는 화질 부족이 아니라 끊임없이 늘어나는 저장 공간 부족인 경우가 많습니다. 애플 연구팀은 사진 파일 크기를 크게 줄이면서도 육안으로 거의 구별할 수 없을 정도의 선명도를 유지하는 것을 목표로 하는 AI 이미지 압축 기술인 PICO를 공개했습니다. 예를 들어, 100MB 크기의 사진을 약 30MB에서 43MB 정도로 압축할 수 있습니다.

하지만 PICO는 아직 연구 논문 단계에 머물러 있으며, 애플은 iOS, macOS, iCloud 또는 사진 앱에 PICO를 통합할 계획을 아직 발표하지 않았습니다. 따라서 이 기술은 주목할 만하지만, 아이폰 사용자가 즉시 사용할 수 있는 새로운 기능으로 간주하기는 아직 이릅니다.

PICO는 어떻게 작동할까요? 단순히 픽셀만 보는 것이 아니라, 사람의 눈이 초점을 맞추는 부분을 분석합니다.

PICO는 Perceptual Image Codec의 약자입니다. JPEG, PNG, HEIC와 같은 기존 이미지 형식과의 가장 큰 차이점은 압축 과정에서 픽셀 간의 수치적 차이만을 계산하는 것이 아니라, 사람의 눈이 실제로 인지할 수 있는 세부적인 부분에 초점을 맞춘다는 점입니다.

기존의 압축 기술은 일반적으로 압축 전후의 수학적 오류를 최소화하는 데 중점을 두지만, 사람의 눈은 사진을 볼 때 모든 픽셀에 똑같이 주의를 기울이지 않습니다. 미묘한 질감, 빛과 그림자의 미세한 변화, 또는 육안으로 식별하기 어려운 배경 영역은 제한된 데이터로도 대부분의 사람들에게 인지되지 않습니다.

아래 이미지는 위에서 아래로 원본 이미지, PICO 압축을 적용한 이미지, HiFiC 압축을 적용한 이미지, 그리고 VVC 압축을 적용한 이미지의 차이를 보여줍니다. 보시다시피, PICO 압축은 주요 시각 영역(텍스트)에서 눈에 띄는 흐림 현상을 일으키지 않습니다.

하지만 PICO 처리 후에는 빨간색으로 표시된 영역에서 원본 이미지에 비해 노이즈가 훨씬 더 많이 나타납니다. 앞서 언급했듯이 PICO는 우리의 시각적 초점이 맞춰지는 영역에 집중하고 덜 눈에 띄는 부분은 일부 희생합니다. 머신 러닝을 사용하여 어떤 시각 정보가 더 중요한지, 어떤 부분을 우선적으로 삭제할 수 있는지 판단함으로써 시각적 매력을 유지하면서 이미지 크기를 줄입니다.

100MB 크기의 사진은 30MB에서 43MB로 압축할 수 있습니다.

애플의 연구에 따르면, PICO 코덱은 AV1, AV2, VVC, ECM, JPEG-AI와 같은 기존 코덱에 비해 동일한 화질을 유지하면서 비트 전송률을 약 2.3~3배 절감할 수 있습니다. 즉, 일반적으로 100MB 정도의 용량이 필요한 사진을 비슷한 화질로 저장하려면 약 30MB에서 43MB 정도의 용량만 있으면 된다는 뜻입니다.

기존의 최상위급 학습 기반 이미지 코덱과 비교해도 PICO는 비트 전송률을 약 20%에서 40%까지 추가로 줄일 수 있습니다. 이는 기존 포맷보다 저장 공간을 더 절약할 뿐만 아니라 AI 이미지 압축 기술 중에서도 뛰어난 경쟁력을 보여준다는 것을 의미합니다.

위 이미지는 "동일한 화질에서 더 낮은 BPP를 갖는 코덱"을 보여줍니다. 일반적으로 BPP가 낮을수록 파일 크기가 작아집니다. 왼쪽 세로축은 주관적인 사람 평가를 나타내며, 높을수록 화질이 좋습니다. 오른쪽의 두 가지 화질 지표는 낮을수록 화질이 좋습니다. 이 결과를 바탕으로 Apple의 PICO(파란색 선)는 더 낮은 BPP에서 다른 코덱과 비슷하거나 더 나은 화질을 구현하며, 이것이 바로 "더 작은 파일 크기에 거의 동일한 화질"을 제공한다는 Apple의 주장의 핵심 근거입니다.

이미지 품질이 여전히 자연스러워 보이는 이유는 무엇일까요?

PICO는 신경망을 사용하여 이미지 압축 및 복원 방법을 학습합니다. 학습 과정에서는 지각 품질 손실, GAN 손실, 그리고 작은 텍스트 흐림이나 벽돌 모양의 색상 블록과 같은 문제를 억제하는 특수 손실 함수를 결합합니다.

특히 GAN 손실 함수는 압축 과정에서 부자연스러워 보이기 쉬운 머리카락이나 옷감 질감과 같은 세부적인 부분을 더욱 자연스럽게 표현할 수 있도록 해줍니다. 이것이 바로 PICO가 파일 크기를 줄이면서도 시각적 매력을 최대한 유지할 수 있는 이유 중 하나입니다.

하지만 이러한 방식에도 위험이 따릅니다. AI가 세부 정보를 복원하는 과정에서 원본 이미지에는 없는 패턴이나 질감을 생성할 수 있기 때문입니다. 애플 연구팀 역시 이러한 문제를 인지하고 있으며, 따라서 오류가 발생할 가능성을 줄이기 위해 추가적인 디자인 기능을 적용했습니다.

애플은 수학 점수뿐만 아니라 사람의 눈으로도 평가합니다.

이미지 품질이 원본과 얼마나 유사한지 판단하기 위해 Apple은 기존의 객관적인 측정 기준뿐만 아니라 주관적인 사람 평가에도 의존했습니다. 연구팀은 CLIC 2020 테스트, Kodak, DIV2K의 세 가지 데이터셋을 사용하여 테스트를 진행했으며, 610명의 평가자를 초청하여 기준 이미지와 복원된 두 이미지를 비교하도록 했습니다.

전체 테스트에서 총 74,925개의 응답이 수집되었으며, 베이지안 Elo 점수를 사용하여 지각 품질 측면에서 다양한 코덱의 순위를 계산했습니다.

이 평가 방법은 PICO의 핵심 원칙을 반영합니다. 사진 압축은 단순히 픽셀 값을 원본 이미지에 가깝게 만드는 것이 아니라, 사용자가 실제로 이미지를 볼 때 화질 저하를 인지할 가능성을 줄이는 데 목적이 있다는 것입니다.

현재 두 곳의 위치를 ​​관찰 중입니다.

첫째, PICO는 아직 연구 결과일 뿐 제품 출시가 아닙니다. 애플은 iOS, macOS, iCloud 또는 사진 앱에 언제 PICO가 적용될지 아직 발표하지 않았으므로, 차기 버전 시스템에 확실히 포함될 새로운 기능으로 간주할 수 없습니다.

둘째로, 기술계에서 널리 인정받는 JPEG XL이 PICO의 비교 벤치마크에 포함되지 않았다는 점이 지적되었습니다. 이는 PICO의 연구 결과가 무의미하다는 것을 의미하는 것은 아니지만, 기존 이미지 포맷과의 성능을 완벽하게 평가하기 위해서는 더 많은 비교 데이터가 필요합니다.

요약하자면, PICO의 매력은 시각적 매력을 크게 희생하지 않으면서도 공간을 적게 차지한다는 점에 있습니다.

PICO가 일반 사용자에게 가장 친숙한 이유는 끊임없이 증가하는 사진 용량과 부족한 파일 크기 문제를 해결하기 때문입니다. 인간의 시각적 인식을 압축 기준으로 활용함으로써 원본 이미지에 가까운 화질을 유지하면서도 사진 파일 크기를 크게 줄일 수 있습니다.

현재로서는 PICO는 애플의 새로운 기능 출시 준비가 완료된 것이라기보다는 연구 단계의 기술적 성과로 간주해야 합니다. 이는 사진 품질 저하 없이 저장 공간을 절약할 수 있는 매우 실용적인 방향을 제시합니다.

https://applealmond.com/posts/313693

트윗에서 보고 찾아보는데...

apple pico 로 검색하면 일본 웹페이지만 검색되는군요. 흠...