在视频剪辑与视觉特效(VFX)制作中,局部画面修改是高频需求:替换画面中不合适的道具、擦除穿帮的商标或杂物、更改人物的服装质感,或是修饰背景瑕疵。在传统流程中,这类修改通常需要剪辑师进行逐帧转描(rotoscoping)、平面跟踪(planar tracking)与复杂的图层合成。AI 视频生成平台 Haiper 提供了基于视频到视频(Video-to-Video)的“视频重绘”(Repaint your Video)功能,并结合“区域调整”(Vary Region)局部蒙版工具,让创作者能够直接框选视频画面中的特定区域,利用自然语言提示词快速完成物体替换与元素重绘。
本文将详细拆解剪辑师与特效创作者使用 Haiper 进行视频局部重绘的具体步骤、提示词技巧、技术边界以及与后期工作流的结合方式。
认识 Haiper 视频重绘的核心机制
Haiper 平台主要包含四种创作模式:文本生视频(Create Video With Text)、静态图生成视频(Animate Your Image)、视频重绘(Repaint Your Video)以及视频延长(Extend Your Video)。
其中,“视频重绘”属于典型的 Video-to-Video 扩散工作流。它以用户上传的既有视频为结构与运动基准,而其内置的 Vary Region(区域调整) 功能则进一步提供了局部重绘(Inpainting)能力:
- 局部隔离重绘: 用户在视频首帧上为目标物体绘制选区蒙版,AI 仅重算蒙版覆盖的像素区域。
- 保留原有运动基准: 未被涂抹的背景、摄像机运镜轨迹和主体动作保持原貌,极大降低了画面的全局畸变。
- 提示词引导生成: 通过文本指令定义重绘区域的新内容,既可实现物体无缝替换,也能通过生成匹配背景纹理达到物体擦除(Clean Plate)的效果。
实操步骤:局部物体替换与修改流程
第一步:进入视频重绘工作区
创作者可以通过以下两种途径进入重绘流程:
- 直接新建模式: 在 Haiper Web 应用(
app.haiper.ai/creations)或 iOS 应用主界面,点击底部的“+”号进入创作模式选择窗口,选择 Repaint your Video(视频重绘),随后导入需要修改的源视频片段(MP4 或 MOV 格式)。 - 从历史生成项进入: 如果修改对象是之前在 Haiper 中生成的视频,可直接在生成历史或播放面板上方点击 Edit / Repaint 选项,系统会自动将该镜头载入重绘模式。
第二步:使用 Vary Region 绘制选区蒙版
上传视频后,系统会展示视频首帧的蒙版编辑画布:
- 添加蒙版(
+笔刷): 选中+工具,涂抹需要替换或修改的目标物体。 - 擦除多余选区(
-笔刷): 若涂抹范围超出预期,使用-工具擦除溢出边缘。 - 蒙版撤销与重置: 画布提供撤销(Undo)、重做(Redo)和重置(Reset)按钮,方便反复微调边缘。
特效师实操经验:适当扩大蒙版边缘(Padding)
绘制蒙版时切忌紧贴物体边缘描边。建议将蒙版范围向外扩展约 5% 到 15%。留出一定的周围环境边界,有助于扩散模型准确读取周边环境的光照强度、接触阴影投射方向以及临近表面的物理纹理,从而在重新生成时使边缘接缝更加自然。
第三步:针对不同目标编写提示词
重绘区域的具体呈现完全由提示词决定。根据修改意图,提示词的撰写方式有所区分:
1. 替换物体(Object Replacement)
明确描述新物体的材质、形态及其与周边环境的光影交互:
- 范例: 不要仅写
"a vase"(一个花瓶),建议写"an antique blue ceramic vase placed on the wooden tabletop, soft warm side lighting, highly detailed clay texture"(放置在木质桌面上的复古青花陶瓷花瓶,柔和温暖的侧光,高精度陶土质感)。 - 环境锚定: 在描述中带上接触面的材质(如木桌)和光线方向,能帮助 AI 生成正确的阴影与透视。
2. 修改元素外观与质感(Style & Element Modification)
保留主体轮廓,仅调整局部颜色、面料或外观风格:
- 范例: 选中角色的夹克外套后输入
"a weathered dark-brown leather bomber jacket with brass zipper details, realistic fabric wrinkles, cinematic lighting"(带有黄铜拉链细节的复古深棕色飞行员真皮夹克,真实布料褶皱,电影级光影)。
3. 擦除物体(Clean Plate 消除)
若要移除画面中的穿帮道具、杂物或标识,不要在提示词中使用 "remove the object"(移除该物体)等否定句式,而应使用肯定句式描述该区域本该呈现的背景细节:
- 范例: 框选现代标牌后输入
"plain weathered grey concrete wall, matching texture and subtle environmental shadows, realistic daylight"(平整的风化灰水泥墙面,与周围纹理相匹配,微弱环境阴影,自然日光)。
第四步:调整参数并提交生成
在提示词窗口旁点击设置图标,确认生成参数:
- 时长控制(Duration): Haiper 原生支持 2 秒与 4 秒视频段落。对于局部重绘任务,建议先生成 2 到 4 秒的短片段进行效果验证。
- 随机种子(Seed): 如果某次生成的运动轨迹和光影基调符合预期,但物体细节需要微调,可以锁定 Seed 数值,再小幅度修改提示词词序或修饰词。
- 宽高比(Aspect Ratio): 视频重绘模式自动继承输入视频的原始画幅比例(常见支持 16:9、9:16、1:1、4:3、21:9 等)。
- 生成任务: 确认无误后点击 Generate,任务即进入云端渲染队列。
剪辑与特效制作中的技术限制与取舍
虽然 Haiper 的 Vary Region 功能大幅降低了人工绘制逐帧蒙版的时间成本,但在专业影视与广告生产流程中,仍需明确其技术边界:
1. 首帧蒙版与时间连贯性(Temporal Coherence)
Haiper 的 Vary Region 是在首帧设定蒙版范围,随后依靠模型内部的时间注意力机制来推算后续各帧中的变化。
- 优势场景: 机位固定(Locked-off)、运镜平缓(缓慢推拉摇移)、目标物体移动速度中等或偏慢的镜头,重绘区域能够保持良好的帧间一致性。
- 挑战场景: 快速甩镜、大范围变焦或物体穿过前景复杂遮挡物时,重绘边缘可能会出现边缘抖动(Edge Boiling)或形变漂移。
2. 分辨率与成片交付
Haiper Video 2.x 当前支持 540p 与 720p 原生生成,并提供 1080p 画面增强能力。对于需要输出 4K 院线或商业母版的项目,AI 重绘的视频片段更适合作为生成素材层,导入后期软件中与母带进行局部合成。
3. 计费消耗与商业授权
- 根据官方计费说明,在 Haiper Video 2.x 模型下,Video to video 生成费用为 8 点数/秒(credits / second)(720p 分辨率)。在 Haiper Video 1.5 下生成基础费用约为 5 点数/秒。
- 免费账户仅支持每日有限的基础体验,且生成结果带有官方水印。
- 商业项目与专业团队需开通 Haiper 会员,以获得无水印高码率下载、商业使用权以及更高的并发生成通道。
专业剪辑与后期合成工作流接入建议
为了将 Haiper 的重绘成果高质量集成进 DaVinci Resolve、Adobe Premiere Pro 或 After Effects 等专业工作流,推荐采取以下后期修饰策略:
- 截取精确短镜头: 在剪辑软件中仅剪出需要修改的 2 至 4 秒镜头并导出,再上传至 Haiper 处理,避免整段长素材消耗点数并降低时间漂移风险。
- 多轨道分层覆盖: 将 Haiper 重绘完成的视频作为新图层,对齐放置在原视频轨道正上方。
- 羽化局部垃圾蒙版(Garbage Matte): 在合成软件中为重绘图层添加一个边缘带有适度羽化(Feather)的遮罩,只露出实际替换的核心区域。由于生成前扩大了重绘蒙版,羽化遮罩能彻底隐去边缘交界处的环境色差。
- 噪点与颗粒匹配(Noise & Grain Matching): AI 扩散模型重新生成的区域往往较为平滑干净,与原始机位拍摄的感光元件噪点存在差异。在后期节点中添加与原素材一致的胶片颗粒或噪点插件,消除画质脱节感。
- 统一色彩校准: 对合成图层进行匹配调色,拉齐黑电平、高光与环境反光,确保重绘物体与实拍画面融为一体。