NVIDIA RTX GPU에 최적화된 FLUX.2 이미지 생성 모델 출시

시각적 생성 AI 모델을 개발하는 최첨단 AI 연구실인 Black Forest Labs가 오늘 최첨단 이미지 생성 모델인 FLUX.2 제품군을 출시했습니다.

FLUX.2에는 수십 가지의 유사한 이미지 변형을 생성할 수 있는 다중 참조 기능을 비롯하여 새로운 도구와 기능이 가득합니다. 사진처럼 사실적인 디테일과 더 깨끗한 글꼴을 사용하여 대규모 이미지에서도 사용할 수 있습니다.

NVIDIA는 Black Forest Labs와 ComfyUI와 협력하여 출시 시점에 FP8 양자화 및 RTX GPU 성능 최적화를 적용한 모델을 출시했으며, 이를 통해 모델을 실행하는 데 필요한 VRAM을 40% 줄이고 성능을 40% 향상시켰습니다.

특별한 소프트웨어 패키지 없이도 모델을 ComfyUI 에서 바로 실행할 수 있습니다 .

최첨단 시각 지능

FLUX.2에서 생성된 이미지는 실제 조명과 물리 법칙을 적용해 최대 4메가픽셀 해상도를 구현하여 시각적 충실도를 떨어뜨리는 "AI 룩"을 제거합니다. 규모에 상관없이 사진처럼 사실적인 이미지를 생성합니다.

이 모델은 이미지 속 피사체나 캐릭터의 포즈를 명확하게 지정할 수 있는 직접 포즈 제어 기능을 추가하고, 인포그래픽, 사용자 인터페이스 화면, 심지어 다국어 콘텐츠에서도 깔끔하고 읽기 쉬운 텍스트를 제공합니다. 또한, 새로운 다중 참조 기능을 통해 아티스트는 스타일이나 피사체가 일관된 최대 6개의 참조 이미지를 선택할 수 있으므로, 모델을 세부적으로 조정할 필요가 없습니다.

새로운 FLUX.2 기능에 대한 전체 개요를 보려면 Black Forest Labs 블로그를 읽어보세요 .

RTX에 최적화됨 

새로운 FLUX.2 모델은 인상적이지만, 동시에 상당히 까다롭습니다. 무려 320억 개의 매개변수를 가진 모델을 실행하는데, 완전히 로드하려면 90GB의 VRAM이 필요합니다. 아티스트가 한 번에 활성 모델만 로드할 수 있도록 하는 인기 있는 설정인 lowVRAM 모드를 사용하더라도 VRAM 요구량은 여전히 ​​64GB로, 일반 소비자용 그래픽 카드로는 사실상 이 모델을 효과적으로 사용하기 어렵습니다.

FLUX.2 모델의 접근성을 확대하기 위해 NVIDIA와 Black Forest Labs는 협력하여 모델을 FP8로 양자화하여 비슷한 품질에서 VRAM 요구 사항을 40% 줄였습니다.

NVIDIA는 이 모델을 GeForce RTX GPU에서 사용할 수 있도록 ComfyUI (PC에서 시각적 생성 AI 모델을 실행하는 인기 있는 애플리케이션)와 협력하여 앱의 RAM 오프로드 기능인 가중치 스트리밍을 개선했습니다.

업그레이드된 기능을 사용하면 사용자는 모델의 일부를 시스템 메모리로 오프로드하여 GPU에서 사용 가능한 메모리를 확장할 수 있습니다. 단, 시스템 메모리가 GPU 메모리보다 느리기 때문에 성능이 다소 저하될 수 있습니다.

NVIDIA는 또한 ComfyUI와 협력하여 FP8 체크포인트에 대한 최적화를 포함하여 NVIDIA 및 GeForce RTX GPU에서 모델 성능을 최적화해 왔습니다.

지금 바로 FLUX.2를 시작하세요. ComfyUI를 업데이트 하고 FLUX.2 템플릿을 확인하거나, Black Forest Labs의 Hugging Face 페이지를 방문하여 모델 가중치를 다운로드하세요.

----

지금 돌려보고 있는데..... 램을 아낀게.. VRAM 12GB꽉채우고 시스템메모리 64GB를 꽉채우고....

20스텝이 400초 가까이 걸리고 있습니다. ㄷㄷ

ComfyUI는 아직 정식버젼은 업데이트전이고,

나이틀리버젼으로 업데이트해야 사용이 가능합니다.

워크플로우랑 모델들은 https://comfyanonymous.github.io/ComfyUI_examples/flux2/ 여기를 참고하세요.

아직 K샘플러가 대응이 안되는지 커스텀 샘플러라는 노드에 덕지덕지 붙여 놓았습니다.

글 쓰는동안 아이앙양이 다 그려져서 올려봅니다.

흠.. 일관성은 우선 퀜에게 점수를 주고 싶습니다. 

더 써봐야겠지만 1024 한장에 306초는 쫌 ㅠ ㅠ...

Prompt executed in 306.45 seconds

전체적으로 리얼리즘이 Krea가 되버렸어요! 좋긴 좋은데..

좋으려니깐 너무 모델이 커진거 아닙니까? ㄷㄷ