Luma Dream Machine 的 Modify Video（影片修改 / 影片生影片）功能將既有實拍素材作為時空幾何框架，在精準鎖定原始攝影機運鏡軌跡與主體動態節奏的前提下，對畫面的表面材質、光影氛圍、背景環境與人物服裝進行風格化重塑。相較於傳統文生影片容易產生運鏡漂移與動作失真的缺點，Modify Video 透過原素材逐幀的光流位移與視差資訊提供物理先驗約束，讓創作者無需重新拍攝或反覆抽卡即可完成高品質風格轉繪。
對於視覺特效師（VFX）、商業廣告剪輯師與影視創作者而言，此工具大幅解決了實拍鏡頭風格置換的痛點：複雜的推拉搖移（Dolly / Pan / Tilt）、空拍穿梭或手持跟隨運鏡得以完全保留，而場景則能順暢置換為賽博朋克、3D 動畫或科幻廢土風格。
傳統文生影片的漂移痛點與 Modify Video 的運鏡鎖定機制
在常規的文字生成影片工作流中，AI 模型是在無幾何約束的潛在空間中隨機採樣擴散。即使提示詞明確標註「電影感向左環繞」或「平穩向前推鏡」，模型每次運算的運鏡速度、旋轉角度與焦點距離依然隨機，演員的身段步伐與面部微表情也無法精準重現。
Modify Video 透過三大核心機制克服了這項限制：
- 連續時空運動約束：上傳的來源影片為擴散模型提供了幀與幀之間的運動向量與相對視差。模型重繪每一幀畫面時，前景與背景的透視位移完全以原影片攝影機的真實運動為基準。
- 首幀視覺引導（
first_frame）：支援傳入一張經過風格化修圖的第一幀畫面作為定位基準。模型在第 0 幀鎖定目標質感與調色方案，隨後沿著原始運鏡軌跡平滑擴散，徹底杜絕開場畫面風格跳動。 - 分級吸附模式（Adhere / Flex / Reimagine）：系統提供 9 級強度參數，讓創作者在嚴格保真與大幅風格創新之間自由微調。
吸附模式梯隊：平衡風格自由度與運鏡幾何結構
選擇合適的模式是確保攝影機運鏡不走樣的關鍵。系統將模式分為三大類型：
| 模式梯隊 | API 參數值 | 幾何結構表現 | 最佳應用場景 |
|---|---|---|---|
| Adhere（緊密貼合） | adhere_1, adhere_2, adhere_3 | 極高幾何約束；嚴格鎖定輪廓邊緣與運鏡軌跡；僅重繪表面紋理、光影與色調。 | 白天轉黑夜；場景重新打光（Relighting）；商業調色濾鏡；微調服裝材質（如布料轉金屬感）。 |
| Flex（彈性平衡） | flex_1, flex_2, flex_3 | 兼具造型變化與運動保真；鎖定主體肢體動作、唇形同步與運鏡節奏；允許替換服裝、道具與背景。 | 現代街景置換為科幻霓虹街道；實拍人像轉 3D 動畫角色；置換造型與背景；取代繁瑣的綠幕轉描工作。 |
| Reimagine（概念重構） | reimagine_1, reimagine_2, reimagine_3 | 最高創意自由度；重構世界觀與主體結構；保留鏡頭運動方向與整體動作時序框架。 | 超現實視覺短片；將真人轉換為機械體或石雕；將室內滑軌鏡頭置換為太空漫遊場景。 |
實務工作流：在 Dream Machine 中重塑影片的五個步驟
不論是透過 Dream Machine 網頁工作區或 API 串接，專業製作流程均包含以下五個步驟：
步驟一：準備並裁切來源素材
- 確保影片為單一鏡頭連續畫面，切勿包含跳接或硬切剪輯；
- 選擇運鏡清晰、透視變化明確的素材（如滑軌推拉、雲台跟拍、機械臂運動）；避免嚴重暗光噪點或劇烈動態模糊；
- 確認符合格式限制：
ray-2模型支援最長 10 秒，ray-flash-2支援最长 15 秒，檔案大小上限為 100 MB。
步驟二：配置生成任務
在 Dream Machine 介面中開啟新畫布，點選 Modify 分頁並上傳影片。
若透過 API 發送請求，設定 modify_video 的承載內容：
{
"generation_type": "modify_video",
"media": {
"url": "https://assets.yourstudio.com/raw_footage/dolly_shot.mp4"
},
"first_frame": {
"url": "https://assets.yourstudio.com/guides/dolly_shot_stylized_frame0.png"
},
"mode": "flex_2",
"model": "ray-2",
"prompt": "A futuristic cyborg operative walking through a rain-slicked neo-Tokyo alley, neon reflections on wet asphalt, volumetric mist, cinematic 35mm lighting"
}
步驟三：運用首幀畫面建立視覺錨點
雖然 first_frame 屬選填參數，但在商業製作中極力建議使用：
- 在剪輯軟體中輸出來源片段的第一幀；
- 在 Photoshop 中進行風格繪製，或使用圖片生成工具轉為理想目標畫風；
- 將該圖片 URL 填入
first_frame.url。擴散模型將以該畫面為基準進行逐幀推展，確保風格一致性。
步驟四：撰寫高效率的結構化提示詞
Modify Video 的提示詞應聚焦於「置換目標」，而非相機指令：
- 明確描述置換關係：清楚指明欲替換的元素（例如「將西裝替換為戰術裝甲；將現代辦公室替換為混凝土堡壘」）；
- 省略多餘的運鏡指令：切勿在提示詞中加入「向左平移」或「向上搖鏡」等文字，因為來源影片已包含攝影機物理資訊，多餘指令可能導致演算法互相干擾；
- 補充環境光學細節：描述光線在移動視角下的變化（如「鏡頭邊緣的雨滴折射光芒」、「移動視角下地面水窪的高光反光」）。
步驟五：檢視預覽、微調參數並匯出
檢查生成的預覽片段。若風格改變幅度不足，可將強度由 flex_1 提升至 flex_3；若前景複雜線條出現抖動，則可退回 adhere_2 或 adhere_3。滿意後即可匯出目標解析度影片。
模型選擇與預算配置
Luma 針對影片修改提供兩套不同定位的底層模型：
- ray-2（每百萬像素 $0.01582）：旗艦級製作模型。具備頂尖的時間連續性、精細紋理還原度與縱深層次感，為影視與高規格廣告的首選（以 720p 16:9 規格的 5 秒片段為例，成本約 $1.75）。
- ray-flash-2（每百萬像素 $0.00544）：高速輕量級模型。生成速度快且單次成本低（相同 720p 16:9 5 秒片段約需 $0.60），適合前期風格測試、分鏡動態預演以及社群媒體短片。
特效製作實戰重點與注意事項
- 主體遮蔽引發的背景漂移：當角色在鏡頭前橫向移動並短暫完全遮蔽背景時，在
reimagine模式下可能導致背景重新生成。若畫面有大幅遮蔽，建議採用adhere_3或flex_1。 - 長寬比嚴格吻合：上傳來源素材的長寬比應與預期輸出格式一致（16:9、9:16、21:9 等），避免系統自動裁切邊緣。
- 場景尺度與鏡頭焦距相符：進行背景置換時，提示詞描述的空間感應符合實拍鏡頭。廣角鏡頭搭配寬廣大景，望遠鏡頭則搭配背景虛化場景。
- 影視剪輯工程直接套用：因為攝影機軌跡完全一致，重繪後的畫面可直接放回時間軸，原素材的收音音效、剪輯時序與 DaVinci Resolve 中的追蹤圖層皆可無縫相容。