이미지가 생성되기 위해 가장 간단 한 구조를 설명합니다.

예제 워크플로우 (첨부1) 클릭하면 확대됩니다.

대부분의 AI 이미지 생성형 워크플로우는

확산 모델 로드

CLIP 로드

VAE 로드

이렇게 3가지 불러오기 노드부터 시작됩니다.

확산 모델의 영문 명칭은 Diffusion Model 입니다.

학습한 이미지를 각자의 방법으로 학습하고 노이즈화 시켜 놓은 농축액 같은 녀석입니다.

CLIP (Contrastive Language–Image Pretraining)은 확산모델을 인간의 언어로 연결해 놓은 파일입니다. 사용자의 프롬프트를 확산모델에서 인지하는 역할입니다. Qwen은 멀티모달 LLM도 있기 때문에 별도의 모델없이 Qwen의 VL (Vision-Language)를 이용합니다.

VAE(Variational Autoencoder, 변분 오토인코더) 확산모델에서 노이즈를 잠재 공간 (latent space)으로 가져와 압축하고 확률적으로 되살리는 모델입니다.

그 다음은 프롬프트가 필요합니다. 우리가 원하는 내용을 생성하려면 인간의 언어로 알려줘야 합니다.

*일반적으로 기존의 확산모델들은 부정 프롬프트라는게 있었습니다. 만들 때 이건 만들지말라는 인간의 언어입니다.

그런데.. 아마.. Qwen은 부정 프롬프트가 필요없는걸로 보입니다..

인간의 언어인 긍정 프롬프트를 이해하기 위해서 로드된 CLIP에 CLIP을 연결합니다.

확률적으로 되살리기 위해서 VAE도 연결합니다.

작성 된 프롬프트의 조건과 확산모델이 KSampler로 갑니다.

KSampler는 모델의 노이즈를 어떤 알고리즘과 값을 통해 되살릴지 처리하는 노드입니다.

스텝 수가 늘어날 수록 소요 시간도 길어지지만 품질도 올라갑니다.

그러나 너무 스텝 수가 높으면 사용자가 원한 프롬프트에서 점점 멀어집니다.

CFG는 사용자의 프롬프트를 어느수준까지 수용하는지 입니다.

스텝 수가 늘어날 수록 CFG도 올려야 밸런스가 유지 됩니다.

여기에 추가로 빈 잠재 이미지 라는 것이 잠재 데이타 슬롯에 연결되어 있는데요.

이건 말 그대로 잠재 노이즈를 채워 이미지로 만들 빈 캔바스입니다.

최종적으로 이 캔바스 사이즈의 그림이 생성되는 것입니다.

*확산 모델별로 최적의 해상도가 있습니다. Qwen의 경우 알려진 값을 못찾았지만..

초반에 커뮤니티에 풀린 예제 워크플로우에 따르면 1328*1328 입니다.

*참고로 Qwen의 경우 노이즈 제거양이 1.0 고정으로 보입니다.

KSampler가 처리한 잠재데이타는 VAE 디코딩을 통해 최종적으로 이미지가 됩니다.

구조가 되게 간단해서... 글로 쉽게 설명할 수 있겠지 했는데.. 그렇지 않네요 ㄷㄷ

(첨부1) 예시는 LM Studio를 이용한 LLM의 프롬프트 처리가 포함되어 있습니다.

◆이정환> 이게 비판이 나올 수밖에 없는 상황이고요. 특히나 이번 보고 과정에 있어서 해킹 피해를, 최근 나오는 뉴스에 따르면 10배가 더 큰데 굉장히 조그마한 양만 보고했다는 이야기가 나오고 있습니다. 이 데이터 양이 왜 중요하냐고 그러면 데이터 양이 많아지면 많아질수록 카드사가 취약한, 그리고 개인소비자 입장에서 가장 취약한 온라인 거래에 대한 정보가 많이 갈 수가 있거든요. 온라인 거래에 정보가 많이 간다는 이야기는 우리가 카드에 CVC 번호라고 해서 비밀번호 같은 것들이 전체적으로 흘러갔을 가능성도 있다. 다시 말해서 롯데카드를 쓰시는 분들의 온라인 거래정보가 넘어갔다는 이야기는 이것들이 유사하게 사용되면서 온라인 거래를 할 수 있다는 입장으로. 카드 정보를 해킹한 사람들은 실물은 없기 때문에 바깥에서의 거래는 어렵지만 이런 온라인 거래를 통해서 할 수가 있고, 온라인 거래의 문제점들이 늘어날 수 있기 때문에 걱정이 많이 된다라는 것을 보시면 될 것 같고요. 그렇기 때문에 정보를 좀 어떻게 보면 제대로 파악도 못하고 보안에 대해서 잘 못한 것들이 아니냐. 특히나 MBK파트너스가 들어오면서 사모펀드 입장에서는 빨리 매출을 올리고 주가를 올려서 파는 게 가장 좋은 전략이거든요. 그렇기 때문에 보안에 대한 투자를 안 하지 않았느냐. 그리고 보안에 대한 투자를 안 했기 때문에 상황 파악 자체가 잘 안 된 것이 아니냐라는 그런 의견들이 나오고 있다 이런 말씀드리겠습니다.

라는 기사 내용을 만평으로 그려주세요

(첨부2)

를 이미지 처럼 만들어 주는 예시입니다.

한번 노드를 구성하면.. 딱 써야하는거만 빼놓고 이쁘게 정리해놓을 수도 있습니다.

(첨부3)