누구보다 한 발 늦는 AI 뉴스(이미지/비디오 생성 모델 위주)입니다.

며칠전 WanX 2.1이 공개된다는 뉴스를 올린 바가 있습니다. 해당 모델이 이름을 바꾸고(왜죠?) 오픈소스로 공개됐습니다.

바뀐 이름은 X를 떼고 WAN이 되었습니다. 무슨 의미가 있는 건진 모르겠습니다.

WAN 2.1 1.3B T2V : https://huggingface.co/Wan-AI/Wan2.1-T2V-1.3B

WAN 2.1 14B T2V: https://huggingface.co/Wan-AI/Wan2.1-T2V-14B​

WAN 2.1 14B I2V 480P: https://huggingface.co/Wan-AI/Wan2.1-I2V-14B-480P

WAN 2.1 14B I2V 720P: https://huggingface.co/Wan-AI/Wan2.1-I2V-14B-720P

비전문가의 짧은 주석을 답니다.

T2V는 text to video 모델로 어떤 내용을 묘사하면 해당 내용을 AI가 비디오로 만들어주는 모델입니다.

I2V는 image to video 모델로 이미지를 던져주면 AI가 짧은 길이(3-5초)의 동영상으로 만들어줍니다.

480p, 720p 비디오의 해상도입니다.

1.3B 모델은 가벼운 모델로 저사양 그래픽카드에서 돌리기 좋습니다.

14B 모델은 큰 모델로 고사양 그래픽카드에서 돌리기 좋습니다.

(4090만 있다면 무엇이든 할 수 있습니다?)

몇몇 후기는 레딧에서 확인하실 수 있습니다.

https://www.reddit.com/r/StableDiffusion/comments/1ixtvdz/wan_released/

모델 설명에 따르면 T2V 1.3B 모델을 돌리는데 겨우 8.19 GB 브이램을 요구한다고 합니다. 5초짜리 480p 동영상을 4분 정도면 만들 수 있다고 합니다 (역시 4090...). 아직 최적화나 양자화 모델이 나오지 않았으므로 이 부분은 향후 AI 전문가들이 향상시켜 줄겁니다.

​Supports Consumer-grade GPUs: The T2V-1.3B model requires only 8.19 GB VRAM, making it compatible with almost all consumer-grade GPUs. It can generate a 5-second 480P video on an RTX 4090 in about 4 minutes (without optimization techniques like quantization). Its performance is even comparable to some closed-source models.​

https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/wanvideo

위 깃헙 링크 설명에 따르면 어떻게 세팅하느냐에 따라서 14b 모델도 10기가 정도의 브이램만 요구하도록 바꿀 수 있다고 하니 3060 12gb나 4060 ti 16gb 같은 모델에서도 돌아가도록 개선된 모델이 나올 수도 있을 것으로 예측해봅니다. 후기에서 뽑은 동영상들을 보니 오픈AI의 Sora나 Kling급은 나오는 거 같습니다. 하지만 WAN의 경우 로컬+게임용 브가+무검열로 원하는 대로 비디오를 생성할 수 있다는 확실한 장점이 있습니다. (대신 전기료가 문제겠지요...)

위 이미지는 T2V 1.3B를 4090으로 4분만에 뽑아낸 것이라고 합니다. 이제 막 공개된 모델이니 어떻게 최적화되고 발전할 지 가늠조차 안 됩니다. 이 외에도 위 깃헙 링크나 서브레딧에 WAN으로 생성한 많은 비디오들이 있습니다. 보시면 그 잠재력을 확인하실 수 있습니다.

레딧 유저들은 당장 밈 이미지를 비디오로 바꾸면서 놀고 있습니다.

(첨부파일로 올린 건 맨 위로 붙는 군요;;)

스테이블디퓨전이 대중에 퍼진지 이제 겨우 2년입니다. 진도가 너무 빠릅니다.

사족: 이런 걸 보고 있으면 가짜뉴스나 범죄에 어떻게 활용될지 걱정도 앞섭니다. 무검열이란 점에서 더욱 그러하고요. 진짜 딜레마입니다.