영상 제작 및 후반 작업(Post-Production)에서 재촬영이나 프레임 단위의 로토스코핑(Rotoscoping) 작업은 가장 많은 시간과 예산이 소요되는 단계 중 하나입니다. 감독이나 클라이언트가 배우의 의상 교체, 손에 든 소품의 표면 재질 변경, 혹은 기존 카메라 워킹을 유지하면서 역광이나 네온 조명 분위기로의 전환을 요구할 때, 전통적인 편집 환경에서는 수많은 트래킹과 마스크 패스, 합성 작업이 요구되었습니다. Haiper의 Video Repainting(비디오 재페인팅 / Video-to-Video) 기능은 내장된 Vary Region 브러시 도구와 결합하여, 카메라의 원본 모션과 공간 구도를 완벽히 유지하면서 지정된 영역만 생성형 AI로 자연스럽게 수정할 수 있는 워크플로를 제공합니다.
본 가이드는 영상 제작자, 편집자, 모션 디자이너가 Haiper Video Repainting을 활용하여 기존 푸티지 내의 특정 피사체, 질감, 환경 조명을 정밀하게 교체하는 실무 기법을 다룹니다.
1. 원본 푸티지 선별 및 사전 처리
생성형 비디오 인페인팅의 성공 여부는 입력 소스의 품질과 움직임의 규칙성에 크게 좌우됩니다. Haiper의 확산 모델은 기준 키프레임을 바탕으로 시간축을 따라 픽셀을 전파하므로, 다음 기준을 충족하는 클립을 준비하는 것이 좋습니다:
- 클립 길이 최적화: Haiper는 2~4초 내외의 짧은 시퀀스에서 가장 높은 프레임 간 일관성을 유지합니다(최신 체크포인트 기준 최대 8초 지원). 긴 롱테이크 영상을 통째로 업로드하지 말고, 편집 소프트웨어에서 수정이 필요한 핵심 액션 구간만 잘라내어 준비하십시오.
- 카메라 및 피사체 움직임: 완만한 팬(Pan), 달리는 트래킹 샷, 일정한 속도의 피사체는 안정적으로 추적됩니다. 반면 극심한 핸드헬드 떨림, 심한 모션 블러, 피사체의 신체가 프레임 안팎으로 급격히 드나드는 샷은 시간축 어텐션의 정렬을 무너뜨려 아티팩트나 왜곡을 유발할 수 있습니다.
- 배경과의 명확한 대비: 수정 대상과 배경의 경계가 뚜렷할수록 마스크 브러시의 영역 지정이 용이해지며, 원치 않는 주변 영역으로 새 텍스처가 번지는 현상(Bleeding)을 방지할 수 있습니다.
원본 영상에 떨림이나 노이즈가 심한 경우, DaVinci Resolve나 Premiere Pro 등의 NLE에서 사전 안정화 및 가벼운 디노이즈를 적용한 후 고화질 H.264/MP4로 렌더링하여 사용하는 것을 권장합니다.
2. Repaint 모드 및 Vary Region 마스크 설정
Haiper 작업 화면에서의 단계별 실행 절차는 다음과 같습니다:
- Repaint 모드 진입: 대시보드나 생성 메뉴에서 Repaint your Video(Video-to-Video)를 선택합니다.
- 영상 업로드: 준비한 짧은 비디오 클립을 업로드 영역으로 드래그합니다.
- Vary Region 활성화: 전체 화면 스타일 변환이 아닌 특정 영역 수정을 위해 Vary Region 옵션을 켭니다. 영상의 첫 번째 프레임(기준 키프레임)이 정지 상태로 열리며 브러시 인터페이스가 활성화됩니다.
- 마스크 영역 페인팅:
+(선택 영역 추가) 브러시를 사용하여 변경하려는 인물, 의상, 소품 또는 조명을 받을 배경 영역을 칠합니다.-(선택 영역 제거/지우개) 도구로 경계선 바깥으로 삐져나간 부분을 정돈하여 보존할 원본 요소를 보호합니다.- 피사체가 이후 프레임에서 움직일 경우, 마스크 경계 바깥으로 피사체가 벗어나지 않도록 외곽선에 약간의 여유 마진을 두고 칠합니다.
- 브러시 궤적이 맞지 않으면 실행 취소(Undo)나 초기화(Reset)를 이용해 다시 지정합니다.
하이라이트된 영역이 AI가 프롬프트에 따라 새로운 픽셀을 채워 넣을 생성 영역이 되며, 선택되지 않은 배경과 주변 구도는 그대로 보존됩니다.
3. 목적별 프롬프트 작성법: 피사체, 질감, 조명
Haiper에서 프롬프트는 마스크된 영역 내의 시각 요소를 재구성하는 의미적 기준이 됩니다. 원본 움직임 벡터와 결합되므로, 마스크 영역 바깥의 요소는 배제하고 대상에 집중해 작성해야 합니다:
A. 피사체 수정 및 소품 교체
인물의 복장을 바꾸거나 손에 든 물품을 변경할 때(예: 평범한 재킷을 사이버펑크 스타일 아머로 교체):
- 신체 구조와 동작 일치 명시: 피사체의 정체성과 질감을 직관적으로 지정합니다. 예:
A rugged cyberpunk warrior wearing distressed matte-black ballistic armor with illuminated orange fiber-optic accents, matching character posture and natural movement. - 전체 배경 서술 배제: 프롬프트에 하늘이나 도시 풍경 전체를 묘사하면 작은 마스크 영역 내에 축소된 풍경을 억지로 그려 넣으려 하므로, 마스크 내부 요소만 작성합니다.
B. 재질 및 질감(Texture) 변환
차량 도색, 제품 표면, 건축 외벽 재질을 바꿀 때(예: 플라스틱을 헤어라인 브론즈나 거친 콘크리트로 변경):
- 구체적인 촉각적 표현 사용:
brushed anodized aluminum(헤어라인 아노다이징 알루미늄),hammered copper finish(해머드 구리 텍스처),weathered concrete with hairline cracks and subtle moss(미세 균열과 이끼가 낀 풍화 콘크리트),glossy carbon fiber weave(유광 카본 파이버) 등 명확한 물리적 재질어를 입력합니다. - 표면 곡면과 하이라이트 반영:
conforming to surface curvature and original specular highlights구문을 추가하면 원본 영상의 명암 굴곡을 따라 자연스럽게 질감이 맵핑됩니다.
C. 조명 및 분위기 재구성
주간 촬영본을 골든아워 역광으로 전환하거나 어두운 공간에 네온 조명을 투영할 때:
- 조명 방향과 품질 서술: 전문 촬영 조명 용어를 사용합니다. 예:
dramatic golden hour rim lighting, warm volumetric light rays, soft amber bounce light, high dynamic range. - 피사체와의 상호작용 명시: 인물 윤곽선과 주변 배경을 함께 마스크한 뒤
subject illuminated by glowing cyan and magenta neon light from off-camera, realistic specular highlights on face and clothing과 같이 지시하여 자연스러운 반사광을 연출합니다.
4. 시간축 일관성(Temporal Consistency) 유지 및 결함 제어
비디오 인페인팅의 가장 큰 과제는 프레임 사이에서 질감이나 형태가 불규칙하게 떨리는 시간적 플리커(Temporal Flicker)입니다. 안정성을 극대화하기 위한 요령은 다음과 같습니다:
- 급격한 형태 변형 지양: 얇은 우산을 거대한 악기로 바꾸는 등 원본의 부피와 크게 차이 나는 변경은 프레임별 형상 왜곡을 부릅니다. 원본 물체의 대략적인 볼륨과 실루엣을 따르는 변환이 가장 안정적입니다.
- 다양한 시드(Seed) 배치 생성: 확산 모델은 확률적 특성을 가집니다. 동일한 프롬프트와 마스크 조건에서 3~5개의 배치를 생성하여 재생해 본 뒤, 깜빡임이 적고 외곽선이 단단하게 유지되는 버전을 선택하십시오.
- 교차 가림(Occlusion) 주의: 마스크 영역 앞을 손이나 다른 물체가 빠르게 가로지르는 장면은 1프레임 고정 마스크로 처리할 경우 경계면 찢어짐이 생길 수 있으므로, 컷을 분할하거나 합성 소프트웨어에서 마스크를 보완해야 합니다.
5. NLE 편집 프로그램 연동 및 후반 마감 작업
전문 제작 파이프라인에서 Haiper의 렌더링 결과물은 독립 완성본이 아닌 합성 레이어로 사용됩니다:
- 타임코드 동기화 배치: DaVinci Resolve나 Premiere Pro에서 원본 비디오 트랙 바로 위 트랙에 Haiper 클립을 얹고 프레임 위치를 완벽하게 맞춥니다.
- 소프트 마스크 페더링: 생성 레이어에 페더(Feather)가 적용된 부드러운 마스크를 적용하여 변경된 영역과 원본 배경의 경계선을 매끄럽게 블렌딩합니다.
- 디플리커(Deflicker) 처리: 미세한 밝기 깜빡임이 감지될 경우, DaVinci Resolve Studio의 내장 Deflicker 플러그인(Fluorescent 또는 Advanced 모드)을 적용해 프레임 간 휘도를 평활화합니다.
- 그레인 일치 및 컬러 그레이딩: AI 생성 픽셀은 카메라 센서 노이즈가 제거되어 지나치게 매끄러울 수 있습니다. 전체 타임라인에 35mm 필름 그레인이나 디지털 노이즈를 공통 적용하고 일괄 색보정(LUT)을 거치면 실사 배경과 생성 영역이 완벽하게 융합됩니다.
6. 요약
Haiper의 Video Repainting은 수작업 3D 모델링과 프레임별 로토스코핑이 필요했던 복잡한 영상 수정을 브러시 마스킹과 텍스트 프롬프트 기반 워크플로로 간소화합니다. 적절한 소스 클립 분할, 정밀한 Vary Region 영역 설정, 그리고 편집 프로그램에서의 마스크 페더링과 디플리커 처리를 결합하면 재촬영 없이도 피사체 변경, 재질 갱신, 조명 연출을 고품질로 완수할 수 있습니다. 이는 광고 시안 제작, 소셜 미디어 영상, B-roll 푸티지의 빠른 스타일링에 최적화된 제작 방식입니다.
참고 자료
- Haiper - AI Video Generator
- Create Cinematic AI Video Using Haiper | Step-by-Step Tutorial — Curious Refuge
- Haiper-ai · GitHub
- GitHub - unofficialapis/Haiper-API: Readme for Haiper API · GitHub
- [2501.10018] DiffuEraser: A Diffusion Model for Video Inpainting
- [2312.03816] AVID: Any-Length Video Inpainting with Diffusion Model