이번에는 Qwen-Image-Edit 2509 를 이용한 간단 이미지 편집을 알아보겠습니다.

Image를 처리해서 Image로 출력하기 때문에 이런 경우 I2I 라고 부릅니다.

Qwen-Image-Edit 2509는 제가 자게에도 여러번 생성물을 올린적이 있지만

오프라인 AI 이미지 편집에서 탑클래스입니다.

ComfyUI 템플릿에도 Qwen-Image-Edit 2509 템플릿이 올라와 있습니다.

이걸 한번 로딩해주세요~ 필요한 기본 모델들을 다운 받을 수 있습니다.

* 아래 소개 될 라이트닝 LoRA의 다운로드 주소는 

https://huggingface.co/lightx2v/Qwen-Image-Lightning/tree/main/Qwen-Image-Edit-2509 입니다.

하지만.. 이 템플릿은..

최근 ComfyUI 0.3.66에서 선보인 서브그래프 기능을 강조하기 위해서인지 너무 깔끔하게 정리되어 있습니다.

그래서 학습용으로는 좋지 않습니다.

서브그래프로 깔끔하게 정리하는 방법은 이미 게시물이 준비되어 있습니다!

스파케티 몬스터(연결선이 지저분하게 꽉차있어요!)를 해치워 봅시다.

https://damoang.net/free/5138937

그럼으로 우리는 AI 이미지의 처리 과정을 이해도 해볼겸

새 워크플로우 부터 새롭게 작성해봅시다.

마우스 우클릭으로 이미지를 새창으로 열어서 크게 보신 다음에

여기 놓여있는 Node들(제목란에 노드 이름들이 있습니다)을 워크플로우에 올려보세요.

제 가이드를 따라 오신 분들이라면 Power Lora Loader (rgthree) 는 이미 설치되어 있습니다.

이미지 로드 노드에서 바로 연결되어 있는 노드는 설치가 필요하실 건데요.

이 커스텀 노드의 comfyui_qwen_image_edit_adv 입니다.

전에 왜 Qwen은 체크포인트가 없는지 문의를 받은 적이 있습니다.

Stable Diffusion 시절에 쓰던 체크포인트는 UNet + VAE + 텍스트 인코더 가 하나의 배포형태인 파일입니다.

Qwen 같은 경우에는 모델 UNet만 포함하고 있다고 보시면 됩니다.

그래서

우리는 확산 모델, VAE, CLIP을 로드해야 합니다.

*이하 각 색상은 ComfyUI 다크테마에서 기본적인 노드 링크(선) 색상입니다.

첫번째 노드는 AI 이미지 생성에 사용 될 학습된 모델 덩어리 확산 모델입니다.

두번째 CLIP이라는 노드의 모델은 비전랭귀지 모델입니다. 이미지와 텍스트를 이해하는 제미나이나 ChatGPT같은 녀석입니다.

세번째 VAE (Variational Autoencoder)는 AI가 처리하는 잠재데이타(Latents:텐서데이타)와 <-> 픽셀 이미지(사람이 보는 이미지)간 인코딩과 디코딩을 담당합니다.

그래서 입력할 이미지는 대개 이런 형식을 갖추어야 합니다.

이미지(픽셀 이미지)를 입력을 받고,

VAE가 텐서데이타로 인코딩 해줘야 연산이 가능해집니다.

그러나, 문제는 들어오는 이미지의 해상도와 비율(Ratio)입니다.

AI가 처리하는 이미지의 크기는 그리 크지 않습니다. 512*512, 1024*1024 등으로 작습니다.

너무 큰 해상도가 들어오면 처리를 못해서 한전만 배불리게 됩니다.

또한, AI 모델들이 공부하던 사진 비율이(Ratio) 있는데 이를 벗어나게 되면 올바르게 생성할 수 없습니다.

그래서 여기에서는 이 두가지 문제를 QwenImageEditScale 라는 노드를 통과하게 하여,

Qwen이 제대로 처리하기 가까운 비율로 변경해주는 단계를 거치고 있습니다.

TMI

최근에 제미나이 유료 API에 몇가지 비율이 추가된 것으로 알고 있습니다.

ChatGPT는 여전히 1:1..... 샘~ 소라2 다 만들었으면 달이도 업데이트해야 하지 않겠습니까~?

다른 모델들도 각자의 지원 비율과 타겟이 픽셀이 있습니다.

Power Lora Loader (rgthree)는 여러 LoRA를 추가해서 쉽게 껏다 켯다 하는 노드입니다.

ComfyUI 기본 로라 로더는 하나의 노드에 하나의 로라만 설정할 수 있지만,

이 녀석은 아래 스샷처럼 자주 쓰는 걸 모두 등록해 놓을 수 있습니다.

그러면 LoRA는 어떤 역할을 할까요?

필요한 부분만 집중적으로 학습한 확장판 같은 애드온 모델입니다.

수십 GB에 달하는 전체 모델을 재학습하거나,

학습 방향에 따라 다양한 모델을 구비하기에는 낭비가 심하기 때문에,

배이스 모델은 그대로 놔두고 그 위에 이건 이렇게 해 라는 추가 가중치 모델을 이용하는 것입니다.

예를 들어 실제 외계인의 모습을 알고 있다면, 외계인 사진 몇장 때문에 전체 모델을 재학습시키기 보다는

LoRA에게 학습시켜서, 최종적으로는 배이스 모델은 모르는 실제 외계인의 모습을 생성할 수 있게 되는 것 입니다.

주요 LoRA는 추후에 다시 다루어 보도록 하겠습니다.

지금까지 이 모든 노드와 선들은 결국 이 K샘플러로 가기 위한 준비 과정이었습니다.

KSampler까지 도달한 잠재 데이타(Latents)는 무작위 패턴 상태인데요.

사람 눈에는 그저 Noise 상태이기 때문에 노이즈 라고도 부릅니다.

KSampler는 이 무작위 노이즈를 제거하고 확산 과정을 통해 실제 이미지로 생성하는 중추적인 역할을 합니다.

우리가 원하는 형태가 나오도록 노이즈를 제거하기 위해서 필요한 것이 바로 조건화(Conditioning) 인데요.

Qwen에서는 부정조건이 필요 없음으로 0으로 만들어 버리고,

긍정조건 = 우리가 입력한 프롬프트 조건만 KSampler에게 요구도록 하는 것입니다.

아직 Qwen 사용법에 대한 유저들의 연구는 계속되고 있습니다.

그래서 다양한 워크플로우들이 나오고 있는데요..

​긍정조건이 K샘플러에 가기전에 사용된 ReferenceLatents 노드는

현재 Qwen-Image-Edit 에서 발생하는 전체 또는 일부 픽셀이 원본 위치에서 벗어나 살짝씩 이동하는 픽셀쉬프트 현상을 개선하고자 추가 된 것입니다. 픽셀 쉬프트가 해결이 될때도 안될때도 있어서 효능은 잘 모르겠습니다.

(Flux1. Krea Dev에서 생성한 삽화 입니다.)

이제 KSamper는 모델(요리 재료), 잠재데이타(레시피), 조건(손님 요청 사항)을 가지고 요리를 시작합니다.

이 요리를 Steps = 얼마나 잘 구울지 (몇차례 노이즈를 제거할지를 뜻합니다)

CFG = 손님 요청 대로 얼마나 잘 따를지 (Qwen, Flux1은 더도 말고 덜도 말고 충실하게 시키는 대로 1.0 을 따릅니다)

이렇게 요리 된 잠재테이터는 여전히 텐서데이타 형태임으로 숫자배열 상태입니다.

최종적으로 VAE 디코더 노드를 통해 사람이 볼 수 있는 이미지로 변환합니다.

---

내용이 길어져서 여기서 한번 끊겠습니다.

작성한게 날아갈까 살짝 두려워서요~~