Luma Dream Machine 的 Modify Video（视频修改 / 视频生视频）功能通过将已有实拍片段作为时空几何骨架，在深度锁定原始摄影机运镜轨迹与人物动作时序的前提下，对画面的材质表面、光影氛围、场景背景与角色装束进行风格化重塑。与传统的“文生视频重新抽卡”不同，Modify Video 并非凭空扩散生成，而是利用原片连续的像素光流与视差位移作为先验约束，彻底解决了重新生成导致的运镜漂移与动态失真问题。
对于影视特效师、广告剪辑师和视频创作者而言，这一工具显著降低了后期置换场景和风格重绘的成本：实拍摄影机复杂的推拉摇移、无人机大范围穿梭或手持跟拍均能被原样锁定，而画面本身则能无缝转变为赛博朋克、3D 动画、粘土定格或科幻废土风格。
传统文生视频的失真痛点与 Modify Video 的运动锁定机制
在普通的文生视频工作流中，AI 模型是在没有物理几何约束的潜空间中随机采样。即便在提示词中加上“电影感向左环绕”或“平滑推镜头”，模型每次生成的运镜速度、弧度与焦点距离依然随机，演员的步伐节奏、面部微表情更是无法复现。
Modify Video 通过三重底层机制破解了这一难题：
- 连续时空动态约束：输入的源视频为扩散模型提供了帧与帧之间的速度矢量与相对视差数据。模型在重绘每一帧像素时，前景与背景的透视运动关系均锚定在原片摄影机的物理轨迹上。
- 首帧视觉引导（
first_frame）：支持传入一张风格化处理后的第一帧图片作为初始锚点。模型在第 0 帧锁定目标质感与调色风格，后续帧沿原片运镜路线进行时序插值扩散，杜绝开场闪烁或色彩漂移。 - 分级吸附模式（Adhere / Flex / Reimagine）：系统提供了从严格锁死轮廓到大幅概念重构的 9 级参数梯度，创作者可精确平衡风格自由度与运镜几何保真度。
模式梯队详解：在风格自由与运镜几何之间取得平衡
合理选择模式是确保实拍运镜平稳保留的关键。API 与界面将其划分为三大核心梯队：
| 模式梯队 | API 参数值 | 结构控制行为 | 最佳适用场景 |
|---|---|---|---|
| Adhere（贴合） | adhere_1, adhere_2, adhere_3 | 极高几何约束；完全锁定边缘结构与运镜轨迹；仅修改表面纹理、材质与光影。 | 白天变黑夜；重新布光（Relighting）；商业调色滤镜；服装材质微调（如哑光变金属）。 |
| Flex（弹性） | flex_1, flex_2, flex_3 | 弹性平衡；锁定演员肢体表演、口型同步与镜头运动节奏；允许置换背景环境、服饰造型与发型。 | 现代街景置换为科幻霓虹小巷；实拍人像转 3D 角色动画；服装大面积替换；消除绿幕转描。 |
| Reimagine（重塑） | reimagine_1, reimagine_2, reimagine_3 | 最高创意自由度；彻底重构世界观与主体形态；保留镜头运动方向与整体动作时间线。 | 超现实概念短片；真人转变为机械体或异星生物；将室内平移镜头置换为太空舱全景。 |
实操教程：在 Dream Machine 中重塑视频的操作步骤
无论通过 Dream Machine 网页工作区还是 API 集成，制作流程均遵循清晰的五个步骤：
第一步：准备与预剪源视频素材
- 确保片段单镜头连续，严禁包含硬切跳剪；
- 镜头运镜越稳定、主体与背景透视反差越明显（如滑轨推拉、定焦跟拍、机械臂环绕），扩散追踪的效果越稳定；避免严重暗光噪点或大面积剧烈运动模糊；
- 时长与规格限制：
ray-2模型支持最长 10 秒，ray-flash-2支持最长 15 秒，文件体积上限为 100 MB。
第二步：配置任务请求
在网页端进入 Dream Machine 画布，切换至 Modify 标签页并上传视频文件。
若通过 API 发起调用，构造 modify_video 请求体如下：
{
"generation_type": "modify_video",
"media": {
"url": "https://assets.yourstudio.com/raw_footage/dolly_shot.mp4"
},
"first_frame": {
"url": "https://assets.yourstudio.com/guides/dolly_shot_stylized_frame0.png"
},
"mode": "flex_2",
"model": "ray-2",
"prompt": "A futuristic cyborg operative walking through a rain-slicked neo-Tokyo alley, neon reflections on wet asphalt, volumetric mist, cinematic 35mm lighting"
}
第三步：运用首帧图片进行视觉锚定
虽然 first_frame 属于可选参数，但在商业级管线中极力推荐使用：
- 在剪辑轨道上导出源片段的第 0 帧画面；
- 在 Photoshop 中进行风格修图，或借助图像生成工具将其转绘为理想画风；
- 将该图 URL 填入
first_frame.url。扩散模型将从确定的视觉基准出发，避免前几帧出现画风试探与跳跃。
第四步：编写高效率的结构化提示词
Modify Video 的提示词应集中在“置换目标”，而非运镜指令：
- 强调替换关系：明确写出“将现代西装替换为战术机甲装甲；将办公室走廊替换为废弃混凝土工事”；
- 避免重复镜头词汇：切勿在提示词中追加“镜头向左横摇”或“俯冲运镜”等指令。源视频已提供运镜物理信息，额外的文字镜头指令容易引发算法冲突；
- 细化光线交互：描述目标环境光线如何作用于镜头，如“镜头边缘产生湿润霓虹眩光”、“反光水洼在移动视角下的镜面高光”。
第五步：预览评估、参数迭代与最终渲染
查看生成的低分辨率预览。若风格化程度不足，可将模式从 flex_1 提升至 flex_3；若复杂前景边缘发生抖动，应退回至 adhere_2 或 adhere_3 模式。确认效果后，导出最终分辨率视频。
模型选型与成本核算
Luma 为视频修改提供了两套不同定位的底层引擎：
- ray-2（每百万像素 $0.01582）：旗舰生产级模型。时序稳定性极佳，对复杂纹理、面部微表情及深浅景深的处理尤为精细，是广告与影视级交付的首选（一条 720p 16:9 的 5 秒片段约需 $1.75）。
- ray-flash-2（每百万像素 $0.00544）：高速经济型模型。生成速度快且单次消耗低（相同 720p 16:9 5 秒片段仅需约 $0.60），适合创意发散、提示词调试、预演分镜制作以及社交媒体轻量内容。
特效制作实践心得与避坑指南
- 遮挡物视差穿帮：当主体在镜头前大范围横切并短时间完全遮挡背景时，在
reimagine高强度模式下可能导致背景重新采样。对于存在剧烈前景遮挡的镜头，建议锁定在adhere_3或flex_1。 - 严格对齐视频长宽比：上传源素材时应保持与输出目标一致的标准画幅（如 16:9、9:16、21:9）。非标分辨率容易被系统边缘裁剪。
- 保持环境背景与原运镜逻辑呼应：置换背景时，提示词描述的场景尺度应与镜头焦段相符。广角镜头尽量匹配开阔环境，长焦镜头匹配虚化纵深场景。
- 无需重新对位合成：由于镜头运镜是 1:1 继承，重绘后的视频可以直接放回影视工程时间线，原素材的对白音效、甚至达芬奇中的三维摄像机反求跟踪数据均能直接复用。