モーショングラフィックスや視覚効果（VFX）の現場において、デザイナーが直面する最も骨の折れる修正要求の一つが、「すでに確定したアニメーションや実写素材のビジュアルスタイル、ライティング、あるいはマテリアル質感の全面差し替え」です。従来のワークフローであれば、膨大な時間を要するロトスコーピング（輪郭切り抜き）、複雑な3Dシェーダーの再構築、あるいはCinema 4DやBlender、Houdiniによる長時間の再レンダリングを強いられていました。
英国発のAIツールHaiperが提供する「動画リペイント（Video Repainting）」機能は、この制作摩擦を解消するVideo-to-Video（動画から動画への変換）の革新的なパイプラインを提供します。既存クリップのフレーム間運動ベクトルと空間幾何を的確に保持しながら、自然言語プロンプトや直感的なマスクブラシツールを用いて、カメラワークと被写体のモーションをそのままに外観スタイル、光の方向性、テクスチャ質感を自在に変換できます。
1. Haiper Video Repaintingが解決する制作課題
一般的な「テキストから動画生成（Text-to-Video）」では、ゼロから生成されるためカメラの揺れやキャラクターの動きに予測不能なブレが生じやすく、厳密な商業制作ではコントロールが困難でした。これに対し、HaiperのVideo Repaintingは、ユーザーが投入した既存映像を強固な「時間的・空間的骨格」として扱います。
モーションデザイナーにとって、この機能は主に次の3つの実務価値をもたらします：
- アートスタイルの変換（Style Transfer）： 実写素材や3Dプレビュー映像を、クレイアニメ、セルルックアニメ、ヴィンテージ16mmフィルム、未来系サイバーパンクなどへ、元の運動リズムを崩さずに変更。
- ダイナミックな再ライティング（Relighting）： シーン内の光源位置や色温度、環境光を再設計。昼間のフラットな映像を、高コントラストなネオンリフレクションやボリューメトリックフォグが漂う雨の夜景へ一新。
- 触感マテリアルの置換（Texture Swapping）： プラスチックや無地の布地、粗いコンクリートの表面を、高級感あるブラッシュドチタン、発光するサイバー回路、手作りの陶磁器の質感へとダイレクトに置き換え。
従来の生成AIとは異なり、元のモーショントラッキングを忠実に保てるため、プロフェッショナルが求める「再現性と再現精度の高い制作管理」が可能になります。
2. 全体リペイントと局所再描画（Vary Region）の使い分け
Haiperのリペイント機能には、目的に応じて2つのアプローチが用意されています：
全画面動画リペイント（Full-Frame Repainting）
画面全体のピクセルに対して一括してプロンプトの効果を適用するモードです。作品全体のトーン＆マナー変更、天候の差し替え、世界観の全面的なスタイル変更など、画面全体が新しい美学ルールで統一されるべき場面に適しています。
局所領域編集（Vary Region）
特定のキャラクターの衣装、小道具、あるいは背景の看板だけを差し替えたい場合に威力を発揮するのが Vary Region ツールです。
- リファレンスフレーム上で、追加（+） および 削除（-） ブラシを使用して変更したい対象を塗りつぶします。
- 拡散モデルはマスクされた領域内のみをプロンプトに従って再生成し、マスク外の背景や周囲の環境は完全に元の状態をキープします。
- このアプローチにより、背景の揺らぎやエッジの破綻を招くことなく、ピンポイントでのマテリアル刷新や小道具置換が完了します。
3. 実践ステップ：Haiperで高品質な動画リペイントを実行する手順
フリッカー（画面のチラつき）や不自然な歪みを防ぎ、商用クオリティを達成するための標準ワークフローは以下の通りです：
ステップ1：ソース素材の準備とカット割り
AI動画リペイントは、明確な輪郭と情報量を持つ素材で最高のパフォーマンスを発揮します。
- クリップ長： 2〜4秒程度（最大でも8秒以内）のショートカットにトリミングして使用します。長尺のテイクは編集ソフトでカットごとに分割しておきます。
- 動きの明瞭さ： 極端なモーションブラーや極度の圧縮ノイズが含まれる映像は避け、被写体の境界が判別しやすい素材を選定します。
- フレームレート： 24fpsまたは30fpsのプログレッシブ映像が、光流（Optical Flow）の解析に最適です。
ステップ2：Haiperへ素材をインポート
- HaiperのWebワークスペースにログインします。
- 作成メニューから Repaint your Video を選択します（または過去の生成ギャラリーから該当動画のRepaintをクリック）。
- 用意したMP4またはMOVファイルをアップロードします。
ステップ3：編集範囲（マスク）の設定
- 映像全体を変更する場合は、マスクを適用せずそのまま次へ進みます。
- 特定オブジェクトのみを変更する場合は、Vary Region を選択し、対象（例：ジャケットやガジェットの筐体）をブラシで隙間なく塗ります。エッジが自然に馴染むよう、わずかに余裕を持たせてマスクします。
ステップ4：スタイル・照明・質感を指定するプロンプト設計
「格好いい映像」「美しい光」といった抽象的な表現を避け、構造化された指示を与えます：[被写体] + [質感・マテリアル特性] + [光源位置と環境大気] + [レンダリング品質・スタイル]。
- 質感の例： "粗いマットな陶器のテクスチャ、微細な焼成ひび割れと微細孔、無反射サーフェス"
- 照明の例： "左側からの強いシアン色のリムライト、暖色タングステンキーライト、濃密な空気感のボリューメトリックフォグ"
- スタイルの例： "スタジオライカ風のストップモーションクレイアニメ、指紋の凹凸が残る粘土の物理的立体感"
ステップ5：レンダリングと品質チェック
生成を実行し、出力されたクリップをループ再生して以下のポイントを検証します：
- テクスチャの吸着度： 動くオブジェクトの表面にテクスチャが密着しているか、フレーム間で滑り（スライディング）が発生していないか。
- 境界の馴染み： Vary Regionのマスク境界に不自然な白浮きや歪みがないか。
- 必要に応じてプロンプトの記述を微調整し、数回のイテレーションを行います。
4. モーションデザイナー向け実践プロンプトレシピ
シナリオA：昼間の実写街並みをサイバーパンク調の雨夜へ
- 元素材： 昼間のドローン空撮または街頭トラッキング映像。
- モード： 全画面リペイント。
- プロンプト：
"Nighttime cyberpunk city street, illuminated by vibrant cyan and magenta neon signs, wet asphalt ground with puddle reflections, heavy rain drizzle, moody rim lighting, dark high-contrast shadows, 8k cinematic cinematography."
- 効果： 日光の平坦なライティングが濡れたアスファルトの反射とネオンの反射光に置換され、車や通行人の動きを完全に保持したシネマティックな夜景へ昇華。
シナリオB：3D製品モデルの筐体をチタン金属へ置換（Vary Region）
- 元素材： マットグレーのプラスチック製プロダクト回転プレビュー。
- モード： Vary Region（製品筐体をマスク）。
- プロンプト：
"Machined brushed titanium finish, beveled metallic chamfers, subtle anisotropic reflections, industrial luxury hardware, flawless studio softbox lighting."
- 効果： 廉価な樹脂の質感が、異方性反射を持つ重厚な削り出しチタン合金へと瞬時に生まれ変わり、回転に伴うハイライトの移動も精密に再現。
シナリオC：実写人物クリップをストップモーションクレイアニメへ
- 元素材： ダンサーや人物の躍動的な実写クリップ。
- モード： 全画面リペイント。
- プロンプト：
"Handcrafted claymation stop-motion animation, visible fingerprint impressions on plasticine clay, tactile matte surface, chunky stylized sculpted geometry, soft directional studio lighting, Laika studio aesthetic."
- 効果： 滑らかな実写映像が、手作りの粘土彫刻がコマ撮りで動く温かみのあるアートスタイルへ変容。
5. After EffectsおよびDaVinci Resolveとの連携テクニック
商業案件において、AIの出力をそのまま最終完パケとすることは稀です。ポストプロダクションツールと組み合わせることで真価を発揮します：
- 描画モードによるブレンド（Blend Modes）： After Effects上で元映像の上にリペイント素材を重ね、オーバーレイ（Overlay） や ソフトライト（Soft Light）、輝度（Luminosity） で不透明度を50〜75%に調整。AIの魅力的な色彩・陰影を取り込みつつ、実写本来のエッジのシャープさを担保できます。
- デフリッカー処理（Deflicker）： AI特有のフレーム間微小明滅を解消するため、DaVinci Resolveの「デフリッカー」エフェクトやサードパーティ製プラグインを適用します。
- フィルムグレインの統一（Grain Match）： 映像全体の最上位レイヤーに35mmフィルムグレインをわずかにオーバーレイすることで、実写プレートとAI生成領域のテクスチャが自然に統合され、映画的な高級感が生まれます。
6. 技術的制約と制作環境の留意点
本手法を採用する際は、以下の実務的制約を考慮する必要があります：
- 尺の長さ： 現状のモデルは2〜8秒のショートカットに最適化されています。長尺カットはショット単位で分割処理する必要があります。
- 極端なカメラワーク： クイックパンや激しいズームインでは、オプティカルフローの追従が破綻し、テクスチャが一時的に歪むリスクがあります。
- 製品ライフサイクルと動向： Haiperは元Google DeepMind研究者らによって設立され、Octopus Ventures等の支援を受けて独自の基底知覚モデルを開発してきました。しかし2025年初頭には創業メンバーがMicrosoft AIへ移籍するなど組織・提供形態の転換期を迎えています。長期的な制作パイプラインを組む際は、提供APIの稼働状況やパートナー連携モデルの最新情報を確認しながら活用することが推奨されます。
参考資料
- Haiper - AI Video Generator
- AI startup Haiper raises $13.8M and releases video creation foundation model - SiliconANGLE
- Haiper, GenAI startup by Ex-DeepMind researchers, secures $13.8M seed funding, emerges from stealth mode — TFN
- Haiper: Next-gen Video Generation AI Model
- Confusion as AI video startup's co-founders leave for Microsoft