영상 편집 및 시각 특수효과(VFX) 작업에서 특정 객체나 영역을 수정하는 일은 매우 빈번합니다. 부적절한 소품 교체, 원치 않는 상표나 배경 잡물 제거, 인물 의상의 질감 변경, 배경 흠집 보정 등은 전통적으로 프레임별 수작업 로토스코핑(rotoscoping), 평면 트래킹(planar tracking), 정밀 멀티레이어 합성을 거쳐야만 했습니다. AI 영상 생성 플랫폼 Haiper는 비디오 투 비디오(Video-to-Video) 기반의 비디오 리페인팅(Repaint your Video) 기능과 영역 조정(Vary Region) 마스크 도구를 통해, 영상 내 특정 영역을 지정하고 자연어 프롬프트로 손쉽게 객체를 교체하거나 재성형할 수 있는 실용적인 작업 방식을 제공합니다.
본 가이드에서는 영상 편집자와 VFX 크리에이터가 Haiper를 활용해 영상 내 객체를 교체하고 요소를 수정하는 구체적인 워크플로, 프롬프트 작성법, 기술적 한계, 그리고 후반 편집 파이프라인 통합 방안을 상세히 설명합니다.
Haiper 비디오 리페인팅의 작동 원리
Haiper 플랫폼은 텍스트 기반 비디오 생성(Create Video With Text), 이미지 기반 비디오 애니메이션(Animate Your Image), 비디오 리페인팅(Repaint Your Video), 비디오 연장(Extend Your Video) 등 4가지 주요 제작 모드를 지원합니다.
그중 Repaint your Video는 기존 영상을 구조와 움직임의 기본 축으로 삼는 Video-to-Video 확산(Diffusion) 모델 워크플로입니다. 이 모드 내에 탑재된 Vary Region 도구를 통해 국소적 인페인팅(Inpainting)이 가능해집니다:
- 국소 영역 분리 마스킹: 영상의 첫 번째 프레임에서 변경하고자 하는 피사체 위에 마스크를 브러시로 칠해 지정합니다.
- 선택적 재계산: AI는 지정된 마스크 영역 내부의 픽셀만을 시간 흐름에 맞춰 다시 생성하며, 마스크 외부의 배경, 카메라 움직임, 구도는 원본 상태 그대로 유지합니다.
- 자연어 프롬프트 제어: 텍스트 명령어를 통해 새 객체의 질감과 형태를 정의하거나, 주변 배경을 생성해 불필요한 사물을 지우는 클린 플레이트(Clean Plate) 작업까지 수행할 수 있습니다.
단계별 실무 워크플로: 객체 교체 및 부분 요소 수정
1단계: 리페인트 작업 공간 진입
Haiper에서 리페인팅 툴에 접근하는 방법은 두 가지입니다:
- 직접 모드 선택: Haiper 웹 앱(
app.haiper.ai/creations) 또는 iOS 앱 화면 하단의 + 아이콘을 눌러 제작 모드 창을 열고 Repaint your Video를 선택합니다. 수정할 소스 영상 파일(MP4 또는 MOV)을 업로드합니다. - 생성 기록에서 바로 진입: 이전에 Haiper에서 생성한 클립을 수정할 경우, 결과 재생 화면이나 히스토리 패널 상단의 Edit / Repaint 옵션을 클릭하면 해당 영상이 리페인트 작업 창으로 즉시 전송됩니다.
2단계: Vary Region으로 마스크 영역 지정
영상을 업로드하면 첫 번째 프레임이 마스크 편집 캔버스에 표시됩니다:
- 마스크 추가(
+브러시):+도구를 선택하고 변경하거나 제거하려는 피사체 영역을 드래그하여 칠합니다. - 선택 영역 차감(
-브러시): 브러시가 불필요한 영역까지 넘어간 경우-도구로 테두리를 깔끔하게 다듬습니다. - 되돌리기 및 초기화: 작업 중 마스크를 미세 조정할 수 있도록 실행 취소(Undo), 다시 실행(Redo), 초기화(Reset) 버튼이 지원됩니다.
VFX 실무 팁: 마스크 테두리는 5%~15% 여유 있게 확장(Padding)
피사체의 윤곽선에 딱 맞춰 타이트하게 마스크를 그리지 마십시오. 대상체보다 약 5%에서 15% 정도 넓게 여백을 두고 칠하는 것이 좋습니다. 확산 모델이 주변 바닥 질감, 환경 광원 방향, 접촉 그림자 정보를 충분히 학습하여 재합성 경계면을 어색함 없이 부드럽게 이어 붙일 수 있기 때문입니다.
3단계: 프롬프트 구성 전략
재생성되는 영역의 퀄리티는 프롬프트의 구체성에 의해 결정됩니다. 작업 목적에 맞춰 다음과 같이 작성합니다:
1. 피사체 교체(Object Replacement)
새로운 사물의 재질, 형태, 주변 광원과의 상호작용을 명확히 묘사합니다:
- 예시: 단순히
"a cup"(컵)이라고 쓰지 말고,"an antique brass goblet resting on the rustic wooden table, soft warm ambient lighting, highly detailed surface texture"(소박한 나무 테이블 위에 놓인 앤틱 황동 고블릿, 부드럽고 따뜻한 주변 조명, 정밀한 표면 질감)과 같이 구체화합니다. - 주변 환경 앵커링: 사물이 놓인 바닥 재질이나 광원 각도를 함께 언급하면 인공지능이 왜곡 없는 그림자와 투시를 계산합니다.
2. 질감 및 스타일 변경(Style & Element Modification)
피사체의 기본 형태와 움직임은 유지하면서 색상이나 의상 재질만 수정합니다:
- 예시: 인물의 외투를 영역 지정한 후,
"a weathered dark-brown leather motorcycle jacket with metallic zipper accents, natural daylight shadows"(금속 지퍼 디테일이 있는 빈티지 짙은 갈색 가죽 모터사이클 재킷, 자연스러운 주광 그림자)라고 입력합니다.
3. 객체 제거(Clean Plate Inpainting)
불필요한 쓰레기통, 간판, 표지판을 지우고자 할 때 "remove the trash can" 같은 부정형 프롬프트를 쓰지 말고, 그 자리를 채워야 할 배경의 모습을 긍정형으로 묘사합니다:
- 예시: 벽면 표지판을 영역 지정한 후,
"weathered red brick wall, matching mortar lines, natural outdoor daylight, seamless texture"(자연스러운 실외 주광 아래 줄눈이 균일하게 이어진 풍화된 붉은 벽돌 벽면, 매끄러운 텍스처)라고 입력합니다.
4단계: 설정 확인 및 생성 실행
프롬프트 입력창 옆의 설정 메뉴에서 파라미터를 점검합니다:
- 영상 길이(Duration): Haiper는 기본 2초 및 4초 비디오 생성을 지원합니다. 부분 리페인팅 작업은 모션 왜곡을 줄이기 위해 2초 또는 4초 단위의 짧은 컷으로 검증하는 것이 좋습니다.
- 랜덤 시드(Seed): 특정 생성물의 움직임과 조명 톤이 만족스럽고 사물 디테일만 추가로 다듬고자 할 때는 Seed 값을 고정한 후 프롬프트 단어를 미세 조정하십시오.
- 화면비(Aspect Ratio): 리페인팅 모드는 업로드한 원본 영상의 화면 비율을 그대로 상속받습니다(16:9, 9:16, 1:1, 4:3, 21:9 지원).
- 생성 실행: 설정 확인 후 Generate 버튼을 누르면 클라우드 렌더링 대기열로 진입합니다.
편집 및 VFX 실무에서의 기술적 제약과 고려 사항
Haiper의 Vary Region 기능은 마스크 제작 시간을 획기적으로 줄여주지만, 상업용 프로젝트에서는 다음 한계를 염두에 두어야 합니다:
1. 첫 프레임 마스킹과 시간적 일관성(Temporal Coherence)
Vary Region의 마스크는 첫 프레임에서만 설정되며, 이후 프레임으로의 영역 추적은 모델 내부의 시간적 어텐션 메커니즘을 통해 추론됩니다.
- 적합한 장면: 삼각대 고정 샷(Locked-off), 완만한 달리 샷, 피사체의 이동 속도가 보통 이하인 장면에서는 높은 시간적 일관성을 유지합니다.
- 까다로운 장면: 급격한 패닝(Whip Pan), 빠른 줌, 피사체 앞을 가리는 장애물이 빠르게 지나가는 장면에서는 테두리 떨림(Edge Boiling)이나 사물의 형태 왜곡이 나타날 수 있습니다.
2. 해상도 및 최종 마스터링
Haiper Video 2.x 모델은 540p 및 720p 해상도를 기본 지원하며, 1080p 업스케일 강화(Enhance)를 제공합니다. 4K 상영용 마스터나 고화질 방송 납품 프로젝트에서는 Haiper 생성물을 최종 완성본이 아닌 합성용 소스로 보고, 후반 편집 소프트웨어에서 업스케일 및 마스킹 합성을 병행해야 합니다.
3. 크레딧 소모 및 상업적 라이선스
- 공식 요금제 기준에 따르면, Haiper Video 2.x 환경에서 Video to video 기능은 720p 해상도 기준 초당 **8 크레딧(8 credits / second)**이 차감됩니다. Haiper Video 1.5 기준 기본 비용은 초당 약 5 크레딧입니다.
- 무료 계정은 일일 생성 크레딧이 제한적이며 워터마크가 포함되어 출력됩니다.
- 상업적 결과물 납품이나 워터마크 없는 고화질 다운로드, 다중 동시 생성 슬롯을 이용하려면 유료 Haiper Membership을 이용해야 합니다.
전문 후반 편집 및 합성 파이프라인 연계 방안
DaVinci Resolve, Adobe Premiere Pro, After Effects 등의 NLE 및 합성 툴과 Haiper 결과물을 완벽하게 결합하는 팁은 다음과 같습니다:
- 필요 구간만 서브클립 분할: 타임라인 전체를 올리지 말고, 수정이 필요한 2~4초 구간만 분할 렌더링하여 Haiper에 업로드함으로써 크레딧을 절약하고 시간적 오차를 최소화합니다.
- 상단 트랙 레이어 배치: Haiper에서 출력된 리페인트 비디오를 편집 타임라인의 원본 클립 바로 위 트랙에 배치하고 프레임을 정렬합니다.
- 가비지 마스크 페더링(Garbage Matte): 합성 프로그램에서 Haiper 레이어에 페더(Feather)가 들어간 부드러운 마스크를 씌워 수정된 핵심 영역만 노출합니다. 사전에 마스크 영역을 여유 있게 잡았기 때문에 경계면의 미세한 색상 차이가 자연스럽게 가려집니다.
- 필름 그레인 및 센서 노이즈 매칭: AI 확산 모델이 생성한 영역은 노이즈가 제거되어 너무 매끄러울 수 있습니다. 후반 툴의 그레인 플러그인을 활용해 원본 카메라의 센서 노이즈와 일치시켜 이질감을 없앱니다.
- 통합 컬러 그레이딩: 합성된 레이어에 최종 색보정을 적용하여 블랙 레벨, 콘트라스트, 하이라이트를 원본 영상 환경에 정확하게 맞춥니다.