一般的なAIオーディオリラクティブ動画生成ツールは、楽曲全体のマスター音量（音圧）に依存して画面を振動させることが多く、キックやスネアが鳴るたびに画面全体が無差別に揺れてしまいがちです。これに対し、Neural Framesはデジタル・オーディオ・ワークステーション（DAW）のオートメーションレーンのような緻密な制御構造を備えています。自動実行される8ステム音源分離（Stem Separation）とプロンプトの重み付け、そしてパラメータモジュレーションを組み合わせることで、キックによる急激なズームイン、スネアによる回転切り替え、ボーカルに同期した滑らかな画風変容など、フレーム単位の精度で狙い通りの視覚効果を発動させることができます。
本稿では、Neural Framesのフレーム・バイ・フレーム動画シンセサイザー（Frame-by-Frame Video Synthesizer）におけるステム分離、モジュレーションターゲット、プロンプト連携の実践的な仕組みとワークフローを解説します。
1. 自動8ステム音源分離の仕組み
Neural FramesのMusicタイムラインに楽曲ファイル（MP3、WAV、FLAC、OGG、AAC、M4Aに対応）をアップロードして著作権同意を行うと、内蔵AIが音源を自動解析し、以下の8つの独立したステム（パート）に分離します：
- Kick（バスドラム）：低域のアタック成分。強い衝撃感のあるカメラプッシュやシーン転換のトリガーに最適です。
- Snare（スネアドラム）：明瞭な中高域の打撃音。カメラの急旋回やパンニング、画面のグリッチ効果に適しています。
- Hihats（ハイハット）：高周波の細かな刻み。テクスチャの微小振動や光の粒子の律動表現に有効です。
- Toms（タム）：周期的なパーカッシブアクセント。視線移動の方向転換などに活用できます。
- Drums（ドラム総合）：ドラムキット全体の複合信号。ビート全体と画面全体を同期させたい場合に使用します。
- Bass（ベース音）：持続的な低周波。色彩の脈動や有機的な輪郭変形、うねるようなスケール変化に適しています。
- Vocals（ボーカル）：旋律的な中高域の起伏。キャラクターの表情変化や象徴的モチーフの生成推進力になります。
- Other（その他楽器）：シンセサイザー、ギター、環境音など。背景空間の変容や穏やかなスタイル遷移を司ります。
作業開始時には、タイムライン上で BPM Sync（BPM同期） を有効化してください。この設定は音声再生速度を変更するものではありませんが、タイムライングリッドを小節単位に正確に揃え、スナップ機能（Snap to Grid）を有効にすることで、時間経過によるビートと映像のズレを防ぎます。
2. モジュレーション構造：音声ソースとモジュレーションターゲット
Neural Framesのモジュレーション機能は、プロンプト行の下にある Modulationタイムライン で管理されます。このタイムラインをダブルクリックすると Audioreactive Modulation（音響反応モジュレーション） ノードが追加され、以下の3要素を設定します：
- Audio Source（音声ソース）：分離された8つのステムから制御元となるパートを選択。
- Modulation Target（モジュレーションターゲット）：音響信号を適用する映像パラメータを選択。
- Amplitude（振幅）：ステムの音量がピークに達した際、ベース値からどれだけ数値を変化させるかを設定。
主要なモジュレーションターゲットは以下の通りです：
- Strength（再描画強度）：拡散モデルが前フレームの情報をどれだけ強く描き直すかを決定。値が高いほど劇的な変容を生み、低いほど前フレームの構造を維持します。
- Zoom（ズーム）：フレームごとの拡大縮小率（％）。正の値で前進ズーム、負の値で後退ズーム。
- Pan Horizontal / Pan Vertical（水平・垂直パン）：カメラの左右および上下移動。
- Rotation Clockwise & Counterclockwise（時計回り・反時計回り回転）：カメラの光軸を中心とした平面回転。
- Rotation Horizontal & Rotation Vertical（水平チルト・垂直チルト）：カメラの左右への振りや上下の仰俯角。
モジュレーションは、プロンプト設定で指定された基本値（Baseline）に加算されます。例えば基本Zoomが 0% の状態で、KickにAmplitude +4 のモジュレーションを割り当てると、キックが鳴る瞬間にのみ4%ズームインし、その後速やかにゼロ位置へ戻ります。
3. プロンプト重み付けとタイムラインの切り替えモード
カメラワークだけでなく、画面内にどのような被写体やスタイルを描くかも音楽と調和させる必要があります。Neural Framesでは、構文レベルの重み付けとタイムライン上の遷移モードを組み合わせて使用します。
構文によるプロンプト重み付け
プロンプト入力欄では、標準的なウェイト構文を用いて特定要素の強調や抑制が可能です：
(cybernetic armor:1.4)と記述することで、機械的な質感やディテールを強調。(misty background:0.6)とすることで、背景の霧の存在感を保ちつつ視認性を確保。- Negative Prompts（ネガティブプロンプト）：崩れた手足や不自然なノイズ、意図しない色被りを排除。
タイムライン遷移：Blend（融合）とHard Cut（ハードカット）
Promptタイムライン 上にイントロ、Aメロ、サビ、ドロップなどの楽曲構成に合わせたプロンプトボックスを配置します。プロンプト間の切り替えには2つの方式があります：
- Blend（融合・トランジション）：AIが潜在空間（Latent Space）上で滑らかに変形補間を行い、被写体を流動的にモーフィングさせます。
- Hard Cut（ハードカット）：小節の頭など特定のタイミングで瞬時に新たなプロンプトや指定画像へと切り替え、鋭い場面転換を演出します。
4. 中核テクニック：ステム分離によるStrengthモジュレーション連動
最も効果的な映像表現は、リズムの瞬態ステム（KickやSnare）を Strength（再描画強度） にマッピングする手法 です。
通常の動画生成において Strength を 0.35 〜 0.45 程度の低値に固定すると、フリッカーの少ない安定した動画が得られますが、プロンプトを切り替えた際のシーン変化が非常に鈍くなります。逆に常に高値にしておくと、静かなパートでも画面が沸騰するように激しく崩れてしまいます。
そこで、Kick または Snare を Strength のモジュレーションソースに設定します：
- アタックの瞬間：キックが鳴った瞬間に
Strengthがベース値（例:0.40）から0.65〜0.70へ急上昇します。AIの再描画自由度が一時的に解放され、新プロンプトで強調された重み付きキーワード（例: 石像から発光するメカコアへ）へと一気に画面が変容します。 - 減衰時：アタック直後、音圧の減衰に伴い
Strengthは直ちにベース値へ復帰。新たに生成されたディテールが固定され、安定した描画が保たれます。
この手法により、「常時激しく乱れ続ける」ことも「変化が遅すぎて退屈になる」ことも防ぎ、音楽のビートに完全に合致したダイナミックなシーン変化を実現できます。
5. 破綻を防ぐ構造安定化：EchoとSmoothの調整
激しい音響モジュレーションを加えると、被写体の輪郭が崩壊しやすくなります。Neural Framesには3つの保護パラメータが用意されています：
- Edge Echo：内蔵されたControlNet輪郭抽出により、直前フレームの物体エッジを維持。激しいカメラ移動やStrength上昇時にも被写体の輪郭を保持します。
- Tile Echo：画面のタイル単位での色調や明暗バランスをControlNetで維持し、全体の破綻を防ぎます。
- Smooth：AIフレーム間の補間平滑度を調整。スネアの鋭い反応やスタッター効果を出す場合は
4前後の低めに設定し、流麗なボーカルパートなどでは8〜10に引き上げて滑らかな映像を作ります。
6. 実践的な制作手順
Neural Framesを用いたオーディオリラクティブ動画制作の標準手順は以下の通りです：
-
楽曲の読み込みと解析：
- Musicタイムライン をダブルクリックして楽曲をアップロード。
- 8ステム分離処理が完了するのを待機。
- BPM Settings で曲のテンポを入力し、Snap to Grid を有効化。
-
プロンプトの構成：
- 楽曲のセクションに合わせてPromptタイムライン上にプロンプトを配置。
(keyword:weight)を用いて重要要素の重み付けを実施。- 場面転換に応じて Blend（融合）または Hard Cut（カット）を選択。
-
基本カメラワークの設定：
- Prompt Settings でベースとなる動き（例:
Zoom: 1%、パン:0）を設定。 - Turbo Mode をオンにして、最大4倍速でプレビュー生成を確認可能にする。
- Prompt Settings でベースとなる動き（例:
-
モジュレーションの設定：
- Modulationタイムライン をダブルクリックしてノードを追加。
- ノード1：Audio Source を
Kick、Target をStrength、Amplitude を+0.20に設定。 - ノード2：Audio Source を
Snare、Target をRotation Clockwise、Amplitude を+3.5に設定。 - ノード3：Audio Source を
Bass、Target をZoom、Amplitude を+2.0に設定。
-
安定化パラメータの調整：
- Edge Echo を有効化して輪郭の崩れを防止。
Smoothを4〜5に設定し、歯切れの良いリズム応答を確保。
-
プレビュー確認と4Kエクスポート：
- タイムライン下のプレビューで動きを確認。崩れが目立つ箇所はAmplitudeを下げるなど微調整。
- 満足のいく結果が得られたら Export を実行。自動的に4K解像度へのAIアップスケーリングが行われます。
7. 代表的なモジュレーション設定プリセット
| 音楽的トリガー | 使用ステム (Audio Source) | モジュレーションターゲット | 推奨ベース値 / 振幅 | 推奨安定化設定 |
|---|---|---|---|---|
| 重低音の脈動 | Bass | Zoom | Base: 0% / Amp: +2.0% | Smooth: 6 |
| キックによる変容 | Kick | Strength | Base: 0.40 / Amp: +0.25 | Edge Echo: 有効 |
| スネアの画面回転 | Snare | Rotation Clockwise | Base: 0 / Amp: +4.0 | Smooth: 4 |
| ボーカルの浮遊感 | Vocals | Pan Vertical | Base: 0 / Amp: +1.5 | Smooth: 8, Tile Echo: 有効 |
8. まとめ
Neural Framesにおける高度な映像演出の本質は、マスター音量による単一の揺れから脱却し、8ステム分離によってリズム・帯域ごとに独立した視覚効果の回路を構築することにあります。キックやスネアの打撃を Strength に結びつけ、プロンプトの重み付けとControlNetによる輪郭保護（Edge Echo）を組み合わせることで、音と映像が完璧に噛み合ったプロ品質のAIミュージックビデオを制作できます。
参考資料
- Neural Frames // AI Music Video Generator & Platform
- What are Modulations and Audioreactivity? | neural frames - Help Center
- What do all the features on the video editor mean? | neural frames - Help Center
- What do all the Settings do? | neural frames - Help Center
- What is prompting? | neural frames - Help Center
- What are transitions? | neural frames - Help Center