새벽에 올렸던 [ComfyUI] 디코딩만으로 2배 업스케일.워크플로우 의 후속글입니다.

*이미지들은 누르면 커집니다.

제작일: 1967-11-17

미스 아이(EYE) 콘테스트.

-예쁜 눈 찾기 대회.

-눈의 소중함 생각하게 함.

-미스 아이에 출전한 미녀들.

-미스 아이로 뽑힌 아가씨를 인터뷰하는 모습.

미스 태평양 선발대회가 워커힐에서 열림.

-호주 미스 태평양 선발대회에 파견할 한국대표 선발.

-한복, 수영복 심사.

-미스 태평양에 조정애양이 선발됨.

이  VAE를 제작한 사람의 튜닝 소개 내용을 https://huggingface.co/spacepxl/Wan2.1-VAE-upscale2x 에서 찾아볼 수 있었습니다.

  Wan2.1 VAE의 디코더만 미세 조정(finetune)한 버전으로, 2배 업스케일링 기능이 디코더 내부에 직접 통합되어 있습니다.

이 모델의 주요 목적은 Wan 특유의 스피클(speckle)·폴카닷(polka dots)·그레인(grain) 같은 잡티 현상을 제거하는 것입니다.

하지만 동시에 고해상도 복원(highres fix) 워크플로우에서도 매우 유용합니다.

  2배 디코더의 출력은 일반적으로, 원래 디코더의 출력을 다른 이미지 업스케일 모델로 확대했을 때보다 훨씬 더 좋은 품질을 보여줍니다. 게다가 디코딩 연산 비용이 거의 변하지 않기 때문에 사실상 부하없이 성능 향상 효과를 얻을 수 있습니다.

  만약 추가 해상도를 사용하고 싶지 않다면, 약간의 블러(blur)를 적용한 뒤 다운샘플링(downsample) 하면 기존 해상도 이미지를 원본 디코더보다 훨씬 높은 품질로 얻을 수 있습니다.

특히 이 VAE는 피부 디테일과 머리카락 표현을 매우 크게 개선합니다. 훈련 데이터는 거의 전부 실제(real) 이미지로 구성되어 있기 때문에 애니메이션이나 선화(lineart), 텍스트 이미지에는 약간 약할 수 있습니다.

  애니메이션이나 선화용으로 미세 조정하는 것도 가능하지만, 그런 용도의 적절한 라이선스가 있는 데이터셋(예: CC-BY 등)을 아직 찾지 못했습니다. 만약 그런 합법적인 데이터셋을 알고 있다면 알려주세요 — 그 자료로 추가 훈련을 시도할 의향이 있습니다.

즉 실사 이미지를 업스케일하고 피부 디테일과 머리카락을 표현하는 데 매우 훌륭한 품질을 보여줍니다.

글씨나 애니메이션의 경우에는 학습하지 않았기 때문에 약하다고 말하고 있으니 참고하시면 됩니다.

본문에 변환 된 이미지도 HiDPI 환경에서 캡쳐한 품질나쁜 고해상도를 입력했기 때문에 효과가 크지 않은데..

해상도를 낮추고 살짝 블러를 주면 아마 더 선명하게 복원되었을 것이라고 생각됩니다.

데이타가 나쁠 수록 더 상상의 나래를 힘껏 펼치는 아이들입니다. ㅎㅎㅎ

사용해보니 이 VAE 튜닝은 CLIP이나 VAE의 개선만으로 품질이 달라질 수 있다는 보여주는 좋은 모델 입니다.