ComfyUI로 LLM이 상상하는 스토리보드 짜기
DINKIssTyle

Lv.1 DINKIssTyle (14.♡.7.140)

2025년 10월 18일 PM 11:56 · 수정됨(10. 19. 08:42)

조회 1,256 공감 0

는... 어제부터 해보고 있는데 잘 안됩니다. ㅍ. ㅍ



도시의 빌딩 사이로 아침 해가 떠오릅니다.

장면은 도시의 상공에서 점점 도심 지상으로 들어가 질주하는 경찰차를 따라 잡습니다.


라는 문장을 주면,


LLM이 



Next Scene: The camera dollys forward smoothly along the roofline of a towering skyscraper, tracking the police car as it speeds through the city streets, the morning sun rising behind the buildings and casting long golden shadows across the pavement. [END]


Next Scene: The shot tightens into a close-up as the police car’s headlights cut through the fog, reflecting off wet asphalt, with the camera slightly tilting down to emphasize the urgency and motion of the vehicle. [END]


Next Scene: The camera pulls back slightly, revealing the bustling city below with a mix of neon signs and morning traffic, sunlight now fully breaking through the clouds, illuminating the skyline in warm, dynamic hues. [END]


Next Scene: A slow pan to the right shows the police car weaving through a narrow alley, the city's rooftops and awnings now coming into view, with soft morning mist swirling around the edges of the buildings and a subtle shift in ambient lighting as the day deepens. [END]


한국어로는



다음 장면: 카메라는 우뚝 솟은 초고층 빌딩의 지붕선을 따라 부드럽게 전진하며 경찰차가 도시 거리를 질주하는 모습, 건물 뒤에서 아침 해가 떠오르고 도로에 긴 황금빛 그림자를 드리우는 모습을 추적합니다.[끝]


다음 장면: 경찰차의 헤드라이트가 안개를 뚫고 젖은 아스팔트에 반사되면서 장면이 클로즈업되고, 카메라는 차량의 긴급성과 움직임을 강조하기 위해 약간 아래로 기울어집니다.[끝]


다음 장면: 카메라가 약간 뒤로 물러나 네온사인과 아침 교통이 뒤섞인 분주한 도시를 아래로 드러냅니다. 햇빛은 이제 구름을 완전히 뚫고 스카이라인을 따뜻하고 역동적인 색조로 비춥니다.[끝]


다음 장면: 오른쪽의 느린 팬에는 경찰차가 좁은 골목을 통과하고, 이제 도시의 지붕과 차양이 시야에 들어오고 있으며, 건물 가장자리를 따라 소용돌이치는 부드러운 아침 안개와 날이 깊어짐에 따라 주변 조명의 미묘한 변화가 보입니다.[끝]




이런식으로 되고 각 씬의 프롬프트로 사용하게 만든것입니다.


LLM이 상상해서 스토리확장하고 카메라워크 잡고 하는게 재미있습니다. ㅋㅋㅋ

그런데 이게 영상 만드는거랑 뭐가 다르냐~? 하실 수 있습니다.


다른 고인물들 보니깐 이렇게 스토리보드를 짜고 AI영상 생성기에서 씬마다 넣어 하나의 장편을 만들더군요 ㄷㄷ

그게 해보고 싶었어요 ㅋㅋㅋㅋ


아래는 4개의 다른 이미지 동시 생성 워크플로우를 만들어 본것입니다.

댓글 (5)

  • 외노자공돌이 Lv.1

    25.10.19 · 45.♡.141.195

    아마 이 작업은 파이썬에서 하시면 더 좋은 결과가 나올 것 같습니다. 파이썬에서 lm studio import하고 comfyui json workflow읽은 후 각 긍정 텍스트에 lm studio 출력값을 넣어 주면 꽤 스토리 흐름에 맞는 제어가 가능하더라고요.
  • DINKIssTyle

    DINKIssTyle Lv.1 → 외노자공돌이 작성자

    25.10.19 · 14.♡.7.140

    제 워크플로워도 LM Studio에 연결되서 Qwen 을 이용하고 있습니다 ㅎㅎ
  • 벳남낭인

    벳남낭인 Lv.1

    25.10.19 · 113.♡.79.120

    제가 쓰는 프롬프트 형식입니다 이 구조로 짜 넣으면 좀더 디테일하게 나오더라구요. 상황에 따라 다른 구조를 짜긴하지만 이구조를 기본베이스로 잡고 합니다


    # TITLE // SUBTITLE ##
    Structure:{총 길이, 컷 수, 블랙아웃 여부, 템포}
    [ #0.00s ] ACTION:{행동}
    CAMERA:{렌즈, 구도, 움직임}
    SUBJECT:{피사체, 감정, 상태}
    SCENE:{환경, 소품}
    LIGHT:{조명 방식, 색감}
    GRADE:{톤, 색보정 스타일}
    CAM:{촬영 구도}
    AUDIO:{BGM, BPM, 효과음}
    CUE:{특정 타이밍 키워드}
    DIALOG:{대사 또는 내레이션}
  • MDBK

    MDBK Lv.1

    25.10.19 · 121.♡.197.151

    4090으로 게임만 하지말고 이런것도 해야하는데요....
    원래 4090산 이유도 AI써보려고 산건데....
  • 드라마중독 Lv.1

    25.10.19 · 115.♡.120.47

    이제 다음단계는 워크플로우를 자동으로 만들어주는 AI 를 학습시키는거군요

댓글을 작성하려면 이 필요합니다.