Luma Dream Machine의 Modify Video로 카메라 워킹을 유지하며 영상 스타일을 변환하는 방법

Luma Dream Machine의 Modify Video(비디오 수정 / Video-to-Video) 기능은 기존에 촬영된 실사 또는 3D 영상을 시공간적 기하학 뼈대로 활용하여, 원본의 카메라 이동 궤적과 인물의 동작 타이밍을 정밀하게 고정한 상태에서 텍스처, 조명, 배경 환경, 의상을 완전히 새로운 스타일로 재구성합니다. 텍스트만으로 영상을 처음부터 다시 생성하는 기존 Text-to-Video 방식은 생성할 때마다 카메라 궤적과 인물 모션이 무작위로 왜곡되는 한계가 있었으나, Modify Video는 프레임별 광학 흐름(Optical Flow)과 시차 정보를 제약 조건으로 사용하여 카메라 워킹의 일관성을 완벽히 유지합니다.

시각 효과(VFX) 아티스트, 광고 편집자, 영상 연출가에게 이 기능은 제작 비용을 획기적으로 줄여줍니다. 실제 촬영장에서 구현한 돌리(Dolly), 팬(Pan), 틸트(Tilt), 크레인, 드론 비행 및 핸드헬드 무빙을 그대로 보존하면서 실사 장면을 사이버펑크, 3D 애니메이션, 또는 SF 분위기로 손쉽게 전환할 수 있습니다.

기존 Text-to-Video의 왜곡 한계와 Modify Video의 모션 고정 원리

일반적인 텍스트 기반 비디오 생성에서는 확산 모델이 물리적 기준점이 없는 잠재 공간에서 확률적으로 샘플링을 진행합니다. 프롬프트에 "시네마틱한 좌측 오빗 회전"이나 "부드러운 전진 돌리"를 입력하더라도 매번 카메라 이동 속도, 곡률, 초점 거리가 임의로 달라지며, 인물의 걸음걸이나 미세 표정도 원본과 일치하지 않습니다.

Modify Video는 다음 세 가지 핵심 기술 구조를 통해 카메라 궤적을 고정합니다:

1. 연속적 시공간 모션 제약: 업로드된 원본 비디오는 프레임 간 속도 벡터와 시차(Parallax) 변화를 확산 모델에 사전 조건으로 제공합니다. 픽셀을 다시 렌더링할 때도 전경과 배경의 원근 이동 관계가 원본 카메라의 물리적 궤적에 엄격히 묶입니다.
2. 첫 프레임 시각적 앵커링(first_frame): 스타일 변환이 완료된 첫 번째 프레임 이미지를 가이드로 전달할 수 있습니다. 0번 프레임에서 목표 질감과 조명 톤을 확정하면, 이후 프레임들은 기존 카메라 경로를 따라 자연스럽게 확산 보간되어 초반 깜빡임이나 스타일 불일치가 방지됩니다.
3. 단계별 흡착 모드(Adhere / Flex / Reimagine): 9단계의 세부 강도 설정을 제공하여 원본 윤곽 보존율과 창의적 스타일 변환 범위 사이의 균형을 자유롭게 조절할 수 있습니다.

모드 분류: 스타일 자유도와 카메라 기하학적 보존의 균형

카메라 워킹의 흔들림을 막기 위해서는 프로젝트 성격에 맞는 모드를 선택하는 것이 필수적입니다.

실무 가이드: Dream Machine에서 영상을 리스타일하는 5단계

웹 워크스페이스 또는 API를 활용한 워크플로는 다음과 같은 5단계로 진행됩니다:

1단계: 원본 영상 준비 및 사전 편집

• 컷 전환이나 점프 컷이 없는 단일 연속 샷을 사용해야 합니다.
• 돌리, 트래킹, 오빗 등 카메라의 이동 선과 피사체 시차가 명확한 클립일수록 안정적으로 추적됩니다. 심한 암부 노이즈나 과도한 모션 블러는 지양해야 합니다.
• 규격 제한 확인: ray-2 모델은 최대 10초, ray-flash-2 모델은 최대 15초, 파일 크기는 100MB 이하입니다.

2단계: 작업 요청 구성

Dream Machine 대시보드에서 Modify 탭을 선택하고 원본 비디오를 업로드합니다.

API 연동 환경에서는 modify_video 요청 데이터를 구성합니다:

{
  "generation_type": "modify_video",
  "media": {
    "url": "https://assets.yourstudio.com/raw_footage/dolly_shot.mp4"
  },
  "first_frame": {
    "url": "https://assets.yourstudio.com/guides/dolly_shot_stylized_frame0.png"
  },
  "mode": "flex_2",
  "model": "ray-2",
  "prompt": "A futuristic cyborg operative walking through a rain-slicked neo-Tokyo alley, neon reflections on wet asphalt, volumetric mist, cinematic 35mm lighting"
}

3단계: 첫 프레임 시각적 가이드 적용

first_frame 파라미터는 선택 사항이지만, 완성도 높은 상업 프로젝트에서는 적극 권장됩니다:

• 편집 툴에서 원본 영상의 첫 프레임(Frame 0)을 스틸 이미지로 내보냅니다.
• 포토샵이나 이미지 생성 AI를 활용하여 원하는 목표 화풍으로 리터칭합니다.
• 해당 이미지 주소를 first_frame.url에 지정합니다. 확산 모델이 명확한 스타일 기준점에서 출발하므로 초반 프레임 흔들림이 억제됩니다.

4단계: 직관적인 구조화 프롬프트 작성

Modify Video의 프롬프트는 카메라 워킹이 아닌 '변경할 대상'에 집중해야 합니다:

• 대체 대상 명시: "정장 수트를 전술 장갑복으로 교체; 사무실 복도를 콘크리트 벙커로 변경"과 같이 구체적으로 명시합니다.
• 불필요한 카메라 지시어 제거: "좌측으로 패닝", "크레인 샷"과 같은 단어를 프롬프트에 넣지 마십시오. 영상 자체에 이미 카메라 정보가 내장되어 있어 텍스트 지시어가 충돌을 유발할 수 있습니다.
• 빛과 환경 반응 묘사: 카메라 이동에 따라 나타나는 렌즈 플레어, 젖은 노면의 네온 반사 등 공간적 광원 반응을 설명합니다.

5단계: 프리뷰 검토 및 최종 렌더링

생성된 프리뷰를 확인합니다. 스타일 변환 강도가 약하다면 모드를 flex_1에서 flex_3로 올리고, 전경의 경계선이 울렁거린다면 adhere_2나 adhere_3로 낮춥니다. 최종 확인 후 원하는 해상도로 출력합니다.

모델 선택 및 비용 산정

Luma는 용도에 따라 두 가지 모델 옵션을 제공합니다:

• ray-2(100만 픽셀당 $0.01582): 최상급 프로덕션 모델입니다. 뛰어난 시간적 연속성, 정밀한 텍스처 묘사, 깊이 분리도를 갖추어 방송 광고 및 영화 제작에 적합합니다(720p 16:9 기준 5초 클립 약 $1.75 소요).
• ray-flash-2(100만 픽셀당 $0.00544): 고속 경량화 모델입니다. 빠른 처리 속도와 저렴한 비용(동일 규격 5초 클립 약 $0.60 소요)으로 신속한 스타일 테스트, 콘티 프리비즈 제작, SNS 콘텐츠에 이상적입니다.

실무 제작 팁 및 주의 사항

1. 전경 가림(Occlusion) 처리: 인물이 카메라 바로 앞을 지나가며 배경을 완전히 가리는 구간이 있다면, reimagine 모드에서 배경이 다시 샘플링될 위험이 있습니다. 가림 현상이 심한 샷은 adhere_3 또는 flex_1을 사용하는 것이 안전합니다.
2. 화면비 일치: 시스템에 의한 자동 여백 잘림을 방지하기 위해 업로드 영상의 종횡비는 최종 출력 규격(16:9, 9:16, 21:9 등)과 정확히 일치시켜야 합니다.
3. 편집 툴과의 완벽한 호환성: 원본 카메라 궤적과 1:1로 일치하므로, 변환된 클립을 Premiere Pro나 DaVinci Resolve 타임라인에 그대로 얹어도 오디오 싱크 및 3D 카메라 트래킹 데이터를 재작업 없이 즉시 재사용할 수 있습니다.

참고 자료

• Modify Video
• Modify a video
• Camera Concepts
• Luma Agents Learning Hub