Luma Dream MachineのModify Video（動画変更・Video-to-Video）機能は、既存の実写やCG動画を時空間の幾何構造として活用し、元のカメラワークの軌跡や被写体の動作タイミングを精密に維持したまま、質感、ライティング、背景環境、衣装などを自在にリスタイル（再スタイリング）できるツールです。ゼロから動画を再生成する従来のText-to-Videoではカメラパスがランダム化してしまう問題がありましたが、Modify Videoは動画内の光流（オプティカルフロー）と視差情報を拘束条件として利用することで、カメラのブレや構図の破綻を防ぎます。
VFXアーティストや映像ディレクターにとって、実写で撮影したドリー、パン、チルト、ドローン、手持ちカメラの動きをそのまま活かしながら、サイバーパンク、3Dアニメーション、実写CGハイブリッドなどの新しい世界観へ瞬時に差し替えることが可能になります。
従来のText-to-Videoの課題とModify Videoのカメラモーション維持機構
通常のText-to-Videoでは、プロンプトに「シネマティックなドリーイン」や「左回りのオービット」と記述しても、拡散モデルが無制約な潜在空間でサンプリングを行うため、生成されるカメラの移動速度や画角、被写体の演技タイミングは毎回大きく変動します。
Modify Videoは以下の3つのメカニズムによって、元のカメラ軌跡を確実にロックします。
- 連続的な時空間モーション拘束：アップロードされたソース動画からフレーム間の速度ベクトルと視差の変化を抽出します。ピクセルを描き直す際にも、前景と背景の深度関係が元動画の物理的なカメラ移動に固定されます。
- 先頭フレームによる視覚的アンカー（
first_frame）：スタイル変換済みの第1フレーム画像を事前に入力可能です。第0フレームで目標の質感やカラートーンを決定し、以降のフレームは元のカメラパスに沿って拡散補間されるため、開始直後のスタイルのチラつきや色ブレが排除されます。 - 段階的な吸着モード（Adhere / Flex / Reimagine）：輪郭を厳格に保持する設定から大胆な抽象化まで、9段階のプリセットを用意しており、カメラの幾何構造保持とスタイルの自由度を柔軟に調整できます。
吸着モードの分類：スタイルの自由度と幾何構造保持のバランス
カメラワークの破綻を防ぐためには、目的に適したモードを選択することが極めて重要です。APIおよびUIでは主に以下の3つのグループに分かれています。
| モード区分 | API設定値 | 構造制御の挙動 | 推奨用途 |
|---|---|---|---|
| Adhere | adhere_1, adhere_2, adhere_3 | 極めて高い幾何拘束。エッジやカメラ軌跡を完全にロックし、質感、ライティング、色調のみを変換。 | 昼から夜への変更、リライティング（再照明）、カラーグレーディング、衣服の素材変更（布からメタリックなど）。 |
| Flex | flex_1, flex_2, flex_3 | バランス型。人物の演技、リップシンク、カメラのパン・ドリー速度を維持しながら、衣装や背景の差し替えを許容。 | 現代の街並みを近未来都市へ変更、実写人物を3Dアニメ調キャラクターへ変換、衣装・小道具の差し替え、ロトスコーピングの代替。 |
| Reimagine | reimagine_1, reimagine_2, reimagine_3 | 最大限の生成自由度。世界観やキャラクター形状を大幅に変更するが、カメラの移動方向や時間軸の動線は踏襲。 | コンセプト映像、人間をサイボーグや石像へ変形、室内移動カットを宇宙空間や異世界へ置換。 |
実践ワークフロー：Dream Machineで動画をリスタイルする5つのステップ
WebワークスペースでもAPI連携でも、制作は以下の手順で進めます。
ステップ1：ソース動画の選定と事前トリミング
- カット割りのない単一の連続ショットを使用します。
- ドリー、トラッキング、ペデスタル、オービットなど、カメラの動きと視差が明確な映像ほど安定した追従結果が得られます。極端な暗所ノイズや激しいモーションブラーは避けてください。
- 仕様制限：
ray-2モデルでは最大10秒、ray-flash-2では最大15秒、ファイルサイズは100MB以内です。
ステップ2：Modifyリクエストの設定
Dream Machineの画面でModifyタブを選択し、動画ファイルをアップロードします。
APIを使用する場合は、次のようなmodify_videoペイロードを送信します。
{
"generation_type": "modify_video",
"media": {
"url": "https://assets.yourstudio.com/raw_footage/dolly_shot.mp4"
},
"first_frame": {
"url": "https://assets.yourstudio.com/guides/dolly_shot_stylized_frame0.png"
},
"mode": "flex_2",
"model": "ray-2",
"prompt": "A futuristic cyborg operative walking through a rain-slicked neo-Tokyo alley, neon reflections on wet asphalt, volumetric mist, cinematic 35mm lighting"
}
ステップ3：先頭フレームによるスタイルの固定
first_frameパラメータは任意ですが、商業制作では指定することが強く推奨されます。
- 編集タイムラインから第0フレームを静止画として書き出します。
- 画像生成ツールやPhotoshopを用いて、目標とするトーンへレタッチします。
- その画像を
first_frame.urlに指定します。これにより、拡散プロセスが明確なトーンから開始され、フレームごとの質感の揺らぎが大幅に抑制されます。
ステップ4：効率的な指示プロンプトの記述
Modify Videoのプロンプトでは、「何を変更するか」に注力し、カメラに関する余計な文言は省きます。
- 置換内容を明確化：「スーツをミリタリーアーマーに変更、廊下をコンクリートの地下施設へ変更」のように明記します。
- カメラ指示を重複させない：「pan left」や「crane shot」などの指示は記載しないでください。元動画からカメラの運動情報が直接継承されるため、テキストでの追加指示はモデル内で矛盾を生む原因になります。
- 光の相互作用を記述：「カメラの移動に伴う水たまりのネオン反射」「レンズエッジのフレア」など、カメラワークと連動する光学効果を指定します。
ステップ5：プレビュー確認と微調整
プレビューを生成し、スタイルの変化が不十分な場合はモードをflex_1からflex_3へ引き上げます。前景の輪郭に歪みが生じる場合はadhere_2などに下げて再調整します。納得のいく結果が得られたら、目的の解像度でレンダリングします。
モデルの選択とコスト計算
Lumaでは用途に合わせて2つのモデルが提供されています。
- ray-2（100万ピクセルあたり $0.01582）：フラッグシップのプロダクションモデル。高い時間的一貫性、微細なテクスチャ再現、正確な被写界深度を備えており、映画やCM制作に最適です（720p・16:9・5秒のクリップで約$1.75）。
- ray-flash-2（100万ピクセルあたり $0.00544）：高速・軽量モデル。生成速度が速くコストが低いため（720p・16:9・5秒のクリップで約$0.60）、事前のスタイル検証やコンテ制作、SNS向けコンテンツ制作に適しています。
VFX制作における注意点とベストプラクティス
- 急激なオクルージョン（遮蔽）対策：被写体がカメラの直前を横切り画面全体を覆うようなカットでは、
reimagineモードで背景が再生成されてしまうことがあります。前景の遮蔽が大きいカットはadhere_3またはflex_1を選択してください。 - アスペクト比の統一：アップロードする動画のアスペクト比は、出力予定のフォーマット（16:9、9:16、21:9など）と一致させてください。変則的な解像度は端部がトリミングされる原因になります。
- ポストプロダクションへの復帰：カメラワークが完全に一致しているため、変換後の映像を編集ソフトウェア（DaVinci ResolveやPremiere Pro）のタイムラインに戻すだけで、元の音声トラックや3Dトラッキングデータとそのまま合致させることができます。