생성형 AI 비디오 제작에서 여러 컷에 걸쳐 동일한 인물의 외형을 유지하는 '캐릭터 일관성(Character Consistency)'은 애니메이터와 영상 제작자들에게 가장 까다로운 난제였습니다. 텍스트 프롬프트만 사용하는 기존 방식(Text-to-Video)에서는 매 생성이 독립적으로 이루어지기 때문에, 아무리 프롬프트에 "갈색 머리와 검은색 가죽 재킷을 입은 인물"이라고 명시해도 컷마다 얼굴 골격, 이목구비 비율, 의상 질감이 제각각 변형되는 '캐릭터 드리프트(Character Drift)'가 발생했습니다. 이러한 왜곡은 영상 클립을 하나의 연속된 스토리보드로 이어 붙이는 작업을 불가능하게 만듭니다.
성수과기(Shengshu Technology)가 개발한 Vidu는 이 문제를 해결하기 위해 Reference to Video(캐릭터 참조 기반 비디오 생성) 아키텍처를 도입했습니다. 제작자는 1장에서 최대 7장의 캐릭터 정지 이미지를 기준 참조로 업로드하거나, 플랫폼 내 자산 라이브러리인 RefHub / My References에서 저장된 캐릭터를 직접 불러올 수 있습니다. 인물의 안면 기하학, 신체 실루엣, 의상 색상을 시각적 참조 데이터로 고정함으로써 캐릭터의 '외형 정체성'과 '동작 및 카메라 워크'를 완전히 분리할 수 있으며, 장면이 바뀌어도 주인공의 모습을 그대로 유지할 수 있습니다.
이 글에서는 애니메이터와 전문 크리에이터가 Vidu를 활용하여 다중 씬에서 캐릭터 일관성을 유지하는 전체 워크플로, 프롬프트 작성 전략 및 제작 시 고려해야 할 트레이드오프를 체계적으로 정리합니다.
1. 프리프로덕션 자산 전략: 영상 생성 전 정지 이미지 앵커 확립
AI 비디오 제작에서 가장 중요한 원칙은 **"동작을 만들기 전에 완벽한 정지 이미지 앵커를 먼저 고정하는 것"**입니다. 비디오 확산 모델은 외형적 제약 조건이 명확하게 주어질 때 비로소 자연스러운 움직임 연산에 집중할 수 있습니다.
마스터 참조 팩 구축 (1~7장)
Vidu는 한 번의 생성 작업에 최대 7장의 참조 이미지를 지원합니다. 단일 정면 컷만으로는 다양한 각도의 연속 씬을 소화하기 어렵기 때문에 다각도 참조 세트(Turnaround Pack)를 준비해야 합니다.
- 다각도 확보: 조명이 균일한 정면 얼굴 컷, 3/4 측면 바스트 샷, 완전한 측면 프로필 샷을 필수로 포함합니다.
- 전신 비율과 의상 실루엣: 인물의 키 비율과 시그니처 의상의 형태 및 배색을 명확히 전달할 수 있는 전신 스탠딩 컷을 최소 1장 마련합니다.
- 화풍의 통일성: 모든 참조 이미지는 동일한 아트 스타일을 공유해야 합니다. 실제 테스트 결과, 2D 애니메이션, 일본 만화풍, 선이 뚜렷한 3D 스타일은 실사 인물 사진에 비해 프레임 간 정체성 유지력이 훨씬 뛰어납니다. 선명한 외곽선과 뚜렷한 색상 블록이 모델의 인식 안정성을 높여주기 때문입니다.
- 동작 간섭 요소 배제: 과장된 표정, 강한 모션 블러, 짙은 그림자, 지나치게 복잡한 미세 패턴(복잡한 레이스 무늬나 촘촘한 체크 원단 등)이 포함된 이미지는 피해야 합니다. 고주파 세부 묘사는 비디오 프레임 보간 과정에서 깜빡임(flicker)과 형태 왜곡을 유발합니다.
완성된 참조 이미지 세트는 프로젝트 폴더에 보관하거나, Vidu의 RefHub 내 My References에 등록하여 이후 프로젝트에서도 클릭 한 번으로 재사용할 수 있도록 세팅합니다.
2. Vidu 다중 씬 제작 4단계 실전 워크플로
참조 자산이 준비되면 Vidu 작업 공간으로 이동하여 Reference to Video 인터페이스(/create/character2video)를 엽니다.
[마스터 참조 이미지 팩 (1~7장)]
│
▼
┌───────────────────────┐
│ Vidu Reference to │ ◄─── 분리된 프롬프트 (동작 및 카메라 연출만 기재)
│ Video 작업 공간 │
└───────────┬───────────┘
│
├── 씬 01: 창가에 선 인물, 카메라 푸시인 (8초)
├── 씬 02: 뒤돌아 미소 짓는 인물, 미디엄 클로즈업 (4초)
└── 씬 03: 빗속을 달리는 인물, 트래킹 샷 (8초)
1단계: 참조 이미지 등록
작업 콘솔에서 +Reference 또는 Refs 버튼을 클릭하여 준비한 1~7장의 캐릭터 이미지를 업로드합니다. 특정 소품이나 배경을 고정해야 할 경우 일부 슬롯을 할애할 수 있으나, 인물 얼굴의 재현도를 극대화하려면 대부분의 슬롯을 캐릭터 다각도 컷으로 채우는 것이 유리합니다.
2단계: 외형과 동작의 '디커플링' 프롬프트 작성
초보자들이 가장 흔히 저지르는 실수는 텍스트 창에 "갈색 머리에 트렌치코트를 입은 젊은이가 길을 걷는다"처럼 인물의 외형을 반복 설명하는 것입니다. 이는 텍스트 토큰과 이미지 토큰 간의 간섭을 일으켜 얼굴 형태를 무너뜨리는 주원인이 됩니다.
올바른 방식은 외형과 동작을 완전히 분리하는 것입니다.
- 인물의 외형은 전적으로 참조 이미지가 담당합니다.
- 텍스트 프롬프트는 오직 동작 동사, 감정선, 환경 조명, 카메라 무빙에만 집중합니다.
실전 프롬프트 예시:
The character walks rapidly through a rain-slicked neon street, looking over their shoulder with an anxious expression. Cinematic atmospheric lighting, puddle reflections. Camera tracking shot moving backward at eye level.(인물이 비에 젖은 네온 불빛 거리를 빠른 걸음으로 걸어가며 불안한 표정으로 뒤를 돌아본다. 시네마틱한 분위기의 조명, 물웅덩이 반사광. 눈높이에서 뒤로 물러나는 카메라 트래킹 샷.)
3단계: 핵심 렌더링 파라미터 설정
- 모델 선택: 물리 엔진의 안정성과 참조 이미지 반영력이 가장 뛰어난 최신 아키텍처(예: Vidu Q3)를 선택합니다.
- 화면 비율(Aspect Ratio): 영화나 유튜브 등 가로 영상은
16:9, 숏폼, 릴스, 틱톡 콘텐츠는9:16을 설정합니다. - 길이 및 모션 강도(Duration & Motion): 4초 또는 8초를 선택합니다. 감정 연기나 대화 장면에서는 안면 왜곡을 방지하기 위해 모션 진폭(Motion Amplitude)을 중간값으로 유지하고, 역동적인 액션 장면에서는 진폭을 높이되 프레임 깨짐 여부를 면밀히 확인합니다.
4단계: 연속 시퀀스 생성
씬 2와 씬 3을 제작할 때:
- 참조 슬롯에 등록된 1~7장의 이미지는 절대 변경하지 않습니다.
- 프롬프트 내용만 다음 스토리 액션으로 교체합니다:
- 씬 2 (리액션 컷):
인물이 카페 부스에 앉아 장갑을 벗고 조용히 숨을 내쉰다. 따뜻한 실내 조명, 미디엄 샷, 완만한 카메라 푸시인(Slow Camera Push-In). - 씬 3 (상황 전개):
인물이 테이블 위의 편지봉투를 발견하고 손을 뻗어 개봉하며 집중하는 눈빛을 보인다. 손과 눈매 클로즈업, 자연스러운 핸드헬드 흔들림.
- 씬 2 (리액션 컷):
- 동일한 참조 임베딩을 기반으로 연산되므로 장소, 조명, 앵글이 바뀌어도 인물의 이목구비, 헤어스타일, 의상이 동일하게 유지됩니다.
3. 제작 방식 비교 및 프로덕션 트레이드오프
프로젝트 일정과 컴퓨팅 비용을 최적화하기 위해 Vidu와 타 파이프라인의 장단점을 명확히 파악해야 합니다.
| 평가 기준 | Vidu Reference to Video | 순수 텍스트 생성 (Text-to-Video) | 전통적 인페인팅 및 페이스스왑 |
|---|---|---|---|
| 캐릭터 일관성 | 높음: 1~7장 기하학적 다각도 고정 | 매우 낮음: 생성마다 얼굴과 의상이 달라짐 | 높음: 기존 영상 위에 픽셀 단위 합성 |
| 사전 준비 비용 | 낮음: 3~5장의 깔끔한 원화만 준비 | 없음: 텍스트만 입력 | 매우 높음: ComfyUI 노드 세팅, LoRA 학습 필수 |
| 제작 납기 속도 | 빠름: 브라우저 클라우드에서 다중 컷 생성 | 낭비 심함: 쓸 만한 컷이 나올 때까지 무한 리롤 | 느림: 로컬 고성능 GPU 렌더링 및 수작업 수정 |
| 최적 활용처 | 애니메이션 단편, 스토리형 광고, 콘티 사전 시각화 | 브레인스토밍, 단발성 비주얼 이펙트 | 영화급 VFX 합성, 특정 배우 얼굴 대체 |
실무 주의점 및 한계 극복 팁
- 다중 캐릭터 동시 연출: 하나의 참조 세트에 두 명의 주인공을 동시에 넣고 밀접한 상호작용을 지시하면 캐릭터 간 특징이 뒤섞이는 현상(예: 의상 색상이 뒤바뀜)이 나타날 수 있습니다. 실무에서는 대화 장면을 1인 단독 샷(쇼트 및 리버스 쇼트) 위주로 구성하고, 두 사람이 함께 나오는 장면은 인물 이목구비보다 공간 구도가 강조되는 롱 샷(풀 샷)으로 처리하는 것이 안전합니다.
- 컷 단위 분할 제작 원칙: Vidu는 4초에서 8초 단위의 독립 클립을 고품질로 렌더링합니다. 하나의 긴 프롬프트에 방대한 서사를 억지로 욱여넣지 마십시오. Vidu를 '가상 카메라'로 삼아 콘티상의 각 컷을 개별 촬영한 뒤, Premiere나 DaVinci Resolve 같은 영상 편집기에서 타임라인을 구성하고 사운드를 입히는 것이 정석입니다.
- 상업적 라이선스와 워터마크: 무료 계정은 기능 테스트에 유용하지만 결과물에 워터마크가 포함되며 상업적 이용 권한이 없습니다. 기업 광고, 외주 프로젝트, 수익 창출 유튜브 채널 등에 활용하려면 반드시 유료 구독 플랜을 통해 워터마크 없는 고화질 추출과 공식 상업 라이선스를 확보해야 합니다.
4. 애니메이터를 위한 실전 체크리스트
다음 영상 프로젝트를 착수하기 전 확인해야 할 핵심 항목입니다.
- 3~5장의 다각도 참조 이미지(정면, 측면, 전신)를 고른 조명으로 준비한다.
- RefHub / My References에 캐릭터를 등록하여 프로젝트 전체에서 고정한다.
- 프롬프트에는 동작, 표정, 카메라 연출만 기재하고 외형 묘사는 배제한다.
- 전체 시퀀스에 걸쳐 모델 버전과 화면 비율을 동일하게 유지한다.
- 4초~8초 단위의 컷을 편집 소프트웨어에서 리듬감 있게 조립한다.
Vidu의 캐릭터 참조 모드를 체계적으로 활용하면 무작위성에 의존하던 AI 비디오 생성을 신뢰할 수 있는 상업용 애니메이션 파이프라인으로 전환할 수 있습니다.