모션 디자이너가 Haiper 비디오 리페인팅(Video Repainting)으로 비주얼 스타일, 조명, 텍스처를 재창조하는 방법

모션 그래픽 디자이너와 시각 효과(VFX) 아티스트는 실무 현장에서 난처한 피드백을 자주 마주합니다. 메인 캐릭터 애니메이션이나 실사 촬영본이 이미 최종 픽스된 상태에서, 클라이언트나 아트 디렉터가 갑작스럽게 아트 스타일의 전면 교체, 조명 무드 변경, 혹은 피사체 재질 수정을 요구하는 경우입니다. 전통적인 제작 파이프라인에서 이러한 수정은 프레임별 로토스코핑(Rotoscoping), 복잡한 3D 셰이더 네트워크 재구성, 또는 Cinema 4D, Blender, Houdini에서의 끝없는 재렌더링을 의미했습니다.

영국 기반의 AI 연구진이 개발한 Haiper의 비디오 리페인팅(Video Repainting) 기능은 이러한 병목을 해결하는 혁신적인 비디오-투-비디오(Video-to-Video) 워크플로를 제공합니다. 기존 영상의 프레임 간 모션 벡터와 공간 기하학적 구조를 그대로 유지하면서, 자연어 프롬프트와 브러시 마스킹 툴을 통해 원본의 카메라 워크와 동세를 손상시키지 않고 시각적 스타일, 조명 방향, 표면 텍스처를 정밀하게 교체할 수 있습니다.

1. Haiper 비디오 리페인팅이 해결하는 모션 디자인 과제

처음부터 영상을 생성하는 텍스트-투-비디오(Text-to-Video) 툴은 피사체의 왜곡이나 카메라 이동의 불규칙성으로 인해 상업 프로젝트에서 정밀한 제어가 어려웠습니다. 반면 Haiper의 비디오 리페인팅 엔진은 시계열 확산 모델(Temporal Diffusion Model)을 기반으로 작동하며, 원본 클립을 변하지 않는 시간적·기하학적 뼈대로 활용합니다.

모션 디자이너에게 이 기능은 다음과 같은 핵심적인 세 가지 가치를 창출합니다:

1. 시각적 스타일 전이(Style Transfer): 실사 영상이나 3D 뷰포트 프리뷰를 클레이메이션, 셀 셰이딩 애니메이션, 빈티지 16mm 필름 룩, 미래형 SF 스타일 등으로 변환하면서도 원본의 움직임 타이밍을 완벽히 유지합니다.
2. 동적 재조명(Dynamic Relighting): 장면의 환경광과 색온도를 재설계합니다. 예를 들어 밋밋한 대낮의 야외 영상을 볼륨 안개와 네온 반사가 어우러진 비 내리는 고대비 야경으로 탈바꿈시킵니다.
3. 물리적 텍스처 교체(Texture Swapping): 평범한 무광 플라스틱, 직물, 콘크리트 표면을 브러시드 티타늄, 빛나는 사이버 회로 패턴, 핸드메이드 도자기 유약 질감 등으로 정밀하게 치환합니다.

기존 모션 트랙을 충실히 따르기 때문에, 상업 모션 작업에 필수적인 결과물의 결정론적 통제력을 확보할 수 있습니다.

2. 전체 프레임 리페인팅과 영역 지정(Vary Region)의 차이

Haiper의 리페인팅 파이프라인은 작업 목적에 따라 두 가지 작동 모드를 지원합니다:

전체 프레임 리페인팅(Full-Frame Repainting)

화면 전체의 모든 픽셀에 프롬프트 스타일을 일괄 적용합니다. 전체적인 장르 변경, 날씨 변환, 전반적인 색감 톤 교체 등 화면 전체가 새로운 시각적 규칙을 따라야 할 때 적합합니다.

국소 영역 재구성(Vary Region)

특정 캐릭터의 의상, 단일 소품, 또는 배경의 간판 텍스처만 부분적으로 수정해야 할 때는 Vary Region 브러시 도구를 활용합니다:

• 기준 프레임에서 추가(+) 및 제거(-) 브러시를 사용하여 수정하고자 하는 대상 위에 마스크를 그립니다.
• 확산 모델은 마스킹된 영역 내에서만 프롬프트에 맞춰 픽셀을 재생성하며, 마스크 외부의 배경과 환경은 전혀 건드리지 않고 원본 상태를 완벽히 유지합니다.
• 이를 통해 배경의 흔들림이나 경계부 왜곡 없이 특정 오브젝트의 재질만 안정적으로 교체할 수 있습니다.

3. 실무 가이드: Haiper에서 고품질 비디오 리페인팅 수행 단계

깜빡임(Flickering)이나 부자연스러운 왜곡 없는 결과물을 얻기 위한 표준 작업 순서는 다음과 같습니다:

1단계: 원본 영상 준비 및 트리밍

AI 비디오 리페인팅 모델은 선명하고 정돈된 입력 소스에서 가장 안정적인 결과를 도출합니다:

• 클립 길이: 2초에서 4초(또는 모델 상한에 따라 8초 이내)의 짧은 클립을 사용합니다. 긴 호흡의 영상은 편집 툴에서 컷별로 분할하여 작업합니다.
• 모션 안정성: 피사체 윤곽이 뚜렷하고 조명이 균일한 소스를 권장하며, 과도한 모션 블러나 저화질 압축 아티팩트가 있는 영상은 피합니다.
• 프레임레이트: 24fps 또는 30fps의 프로그레시브 영상이 광학 흐름(Optical Flow) 연산에 가장 적합합니다.

2단계: Haiper로 영상 업로드

1. Haiper 웹 대시보드에 접속합니다.
2. 생성 메뉴에서 Repaint your Video를 선택합니다(또는 갤러리에 저장된 영상 카드에서 Repaint 버튼 클릭).
3. 트리밍된 MP4 또는 MOV 파일을 업로드합니다.

3단계: 편집 범위(마스킹) 지정

• 배경 전체를 완전히 개편하려면 마스크 없이 진행합니다.
• 특정 피사체만 변경하려면 Vary Region을 클릭하고 브러시로 대상을 꼼꼼히 칠합니다. AI가 자연스럽게 경계를 블렌딩할 수 있도록 약간의 여유를 두고 마스킹합니다.

4단계: 스타일, 조명, 텍스처 프롬프트 작성

"멋진 영상", "영화 같은 분위기"와 같은 모호한 표현을 피하고 물리적 속성을 명확히 기재합니다: [핵심 피사체] + [표면 재질 및 텍스처 세부사항] + [광원 위치 및 대기 환경] + [렌더링 스타일 기준].

• 텍스처 예시: "Rough matte earthenware ceramic, tactile cracks, micro-surface imperfections."
• 조명 예시: "Strong blue rim lighting from camera left, warm tungsten key light, volumetric haze."
• 스타일 예시: "Hyper-detailed stop-motion claymation, 3D Octane render quality."

5단계: 렌더링 생성 및 연속성 검수

생성을 실행한 후, 완성된 클립을 루프 재생하며 다음 사항을 점검합니다:

• 텍스처 밀착도: 새로운 재질이 오브젝트 표면에 견고하게 부착되어 움직이는지, 프레임 사이에서 겉돌거나 미끄러지는 현상(Texture Sliding)이 없는지 확인합니다.
• 경계부 자연스러움: Vary Region 마스크 경계면이 주변 배경과 매끄럽게 결합되었는지 살핍니다.
• 미흡한 부분이 발견되면 프롬프트 가중치를 조정하거나 마스크를 다시 칠하여 재렌더링합니다.

4. 모션 디자이너를 위한 실전 프롬프트 레시피

시나리오 A: 주간 실사 도심을 사이버펑크 야경으로 전환

• 원본 영상: 주간 드론 촬영 샷 또는 거리 트래킹 푸티지.
• 범위: 전체 프레임 리페인팅.
• 프롬프트:

  "Nighttime cyberpunk city street, illuminated by vibrant cyan and magenta neon signs, wet asphalt ground with puddle reflections, heavy rain drizzle, moody rim lighting, dark high-contrast shadows, 8k cinematic cinematography."

• 결과: 차량과 보행자의 동선을 그대로 유지하면서, 밋밋한 자연광이 젖은 아스팔트 반사와 네온 광채가 가득한 시네마틱 야경으로 탈바꿈합니다.

시나리오 B: 3D 제품 쇼케이스 재질 업그레이드(Vary Region)

• 원본 영상: 무광 회색 플라스틱 전자제품 360도 턴테이블 회전 영상.
• 범위: 제품 본체에 Vary Region 마스킹 적용.
• 프롬프트:

  "Machined brushed titanium finish, beveled metallic chamfers, subtle anisotropic reflections, industrial luxury hardware, flawless studio softbox lighting."

• 결과: 저렴해 보이는 플라스틱이 고급 헤어라인 질감의 브러시드 티타늄으로 치환되며, 3D 회전 벡터에 맞춰 하이라이트가 사실적으로 이동합니다.

시나리오 C: 실사 인물 클립을 수제 클레이메이션으로 변환

• 원본 영상: 댄서나 인물이 역동적으로 움직이는 실사 영상.
• 범위: 전체 프레임 리페인팅.
• 프롬프트:

  "Handcrafted claymation stop-motion animation, visible fingerprint impressions on plasticine clay, tactile matte surface, chunky stylized sculpted geometry, soft directional studio lighting, Laika studio aesthetic."

• 결과: 실제 사람의 유연한 안무를 정확히 유지하면서, 지문 자국과 투박한 손맛이 살아있는 스톱모션 점토 인형 비주얼을 완성합니다.

5. After Effects 및 DaVinci Resolve와의 합성 파이프라인

상업 모션 그래픽스 환경에서 AI 결과물은 최종 마스터라기보다는 고급 텍스처 패스나 스타일 패스로 간주됩니다. 후반 작업 소프트웨어와의 연계를 권장합니다:

1. 블렌딩 모드 합성(Blend Modes): After Effects에서 원본 영상 위에 리페인팅 레이어를 얹고 Overlay(오버레이), Soft Light(소프트 라이트), 또는 Luminosity(광도) 모드로 50%~75% 불투명도를 적용합니다. 이를 통해 원본 실사의 정밀한 외곽선 디테일을 유지하면서 AI 특유의 색감과 조명 효과만 흡수할 수 있습니다.
2. 디플리커(Deflicker) 보정: AI 생성 영상 특유의 미세한 프레임 간 밝기 떨림은 DaVinci Resolve의 내장 Deflicker 노드나 애프터 이펙트 플러그인을 통해 부드럽게 정돈합니다.
3. 필름 그레인 통합(Film Grain): 합성 파이프라인의 최상단에 35mm 필름 그레인을 균일하게 덮어주면, 실사 영역과 AI 생성 영역의 이질감이 사라지며 유기적이고 완성도 높은 시네마틱 룩이 완성됩니다.

6. 기술적 한계와 제품 생태계 고려사항

실제 일정 수립 시 다음과 같은 제약 요소를 고려해야 합니다:

• 클립 길이의 한계: 현재 2~8초 분량의 짧은 장면에 최적화되어 있으므로, 호흡이 긴 내러티브 컷은 사전에 씬별로 나누어 렌더링해야 합니다.
• 급격한 카메라 모션: 휩 팬(Whip Pan)이나 급격한 줌 동작에서는 광학 흐름 추적이 실패하여 텍스처가 일시적으로 뭉개질 수 있습니다.
• 제품 라이프사이클 및 동향: Google DeepMind 출신 연구진이 창립하고 Octopus Ventures의 투자를 유치한 Haiper는 뛰어난 시각 지각 모델로 주목받았습니다. 다만 2025년 초 공동 창업진이 Microsoft AI로 합류하는 등 산업 생태계 재편이 진행되고 있으므로, 장기적인 스튜디오 파이프라인을 구축할 때는 클라우드 API 및 협력사 플랫폼 지원 동향을 모니터링하며 유연하게 연계할 필요가 있습니다.

참고 자료

• Haiper - AI Video Generator
• AI startup Haiper raises $13.8M and releases video creation foundation model - SiliconANGLE
• Haiper, GenAI startup by Ex-DeepMind researchers, secures $13.8M seed funding, emerges from stealth mode — TFN
• Haiper: Next-gen Video Generation AI Model
• Confusion as AI video startup's co-founders leave for Microsoft