Hedraを用いたAIアバター動画の生成において、リアルな仕上がりと高精度な口の動き（リップシンク）を実現できるかどうかは、レンダリング設定ではなく素材準備の段階でほぼ決定づけられます。Hedraの中核エンジンである Hedra Character 3（hedra-character-3）や Hedra Avatar では、入力された音声を動画生成の「絶対的な主導権（Authority）」として扱います。モデルは音声波形から音素（Phonemes）を解析し、それを解剖学的な口の形（Visemes）へマッピングした上で、目線の動き、まばたき、眉の上下、頭部の微細な傾きといった自然なマイクロ表情を拡散生成します。
もし生成された映像で口元が不自然に引き裂かれたり、歯が二重にブレたり、無音区間で顎が小刻みに痙攣したり、首から上が固まった紙人形のようになったりする場合、その原因のほとんどは元素材にあります。極端なアングル、歯を見せて笑っている元画像、エアコンのノイズやBGMが混ざった音声、あるいは音割れしたオーディオなどが典型的な原因です。
本記事では、Hedraで高品質なトーキングアバターを安定して制作するために必要な、キャラクター画像と音声トラックの準備仕様、制作ワークフロー、およびトラブルシューティングの手順を体系的に解説します。
1. Hedraにおける音声・映像同期の仕組み
Hedraの動作原理を理解することで、素材準備における失敗の大部分を回避できます。
- 音響音素の抽出： 音声ファイル内のアタック音、母音フォルマント、子音の閉塞を検出し、発話のテンポと抑揚をクロックとして取得します。
- 視素（Viseme）の動的変形： キャラクター画像の顔立ちに合わせて、上唇、下唇、歯、舌、下顎の開閉形状をフレーム単位で再構築します。
- 表情・姿勢の自動推論： Character 3などの最新モデルは、唇だけを動かす従来のリップシンクツールとは異なり、発話のニュアンスや強弱に合わせて自然な頭部のうなずき、呼吸に伴う動き、適切なまばたきを同時に生成します。
元画像に顔の遮蔽物や大げさな表情が存在すると形状変形で破綻が生じ、音声に背景ノイズが含まれているとモデルがノイズを子音の発音と誤認して不自然な口の痙攣を引き起こします。
2. キャラクター画像の準備基準
元画像は単なるテクスチャではなく、AIが顔の筋肉運動を計算するための解剖学的基準点（ベースライン）となります。以下の要件を厳密に満たす必要があります。
アングル、構図、ポーズ
- 推奨アングル： カメラに対して真正面（0°）、もしくはわずかな斜め（中心から15°以内）のバストアップ写真を使用します。完全な横顔（プロファイル）は片側の唇や目のランドマークを認識できず、口元の著しい崩れや引き延ばし歪みの原因になります。
- カメラの高さ： 被写体の目の高さに合わせます。極端な見下ろし（俯瞰）や見上げ（煽り）は顎と首の遠近感を狂わせ、発話中に首の皮膚が不自然に伸び縮みする現象を招きます。
- 構図と余白： 胸元から上の構図（標準的なバストショット）が最適です。頭頂部の上に適度な余白を残し、顎の下にも十分な空間を確保してください。顎のラインや頭頂部を切り詰める極端なタイトクロップは避けます。
初期表情：口を閉じたニュートラルな状態
- リラックスした閉口状態： 唇が自然に閉じているか、力を抜いた状態で1〜2ミリ程度開いている状態が理想です。ただし、歯が見えていてはなりません。
- 「笑顔のポートレート」の罠： 歯をむき出しにして笑っている写真や、口を大きく開けた画像をベースにしてはいけません。Hedraは元画像の口の形状を「安静時の基準形状（Rest Pose）」と認識します。すでに歯が見えるほど開いた口の画像を使うと、/m/、/b/、/p/などの唇を閉じる子音を発音する際に、露出した歯や歯茎を無理に押し潰して閉じる計算が働き、結果として歯が二重にブレたり、口が裂けたような奇怪なアーティファクトが発生します。
- 視線： 視聴者やカメラレンズをまっすぐ見つめる自然な目線が最も適しています。
照明と遮蔽物の完全排除
- 均一で柔らかい拡散光： 顔の両側にバランスよく光が当たっている状態にします。強い片側だけの陰影（スプリットライティング）や顎下の濃い影は、AIが唇の輪郭を見失う原因になります。
- 遮蔽物（オクルージョン）の排除： 唇、顎、鼻下、両目の周囲に障害物がないようにしてください。
- 手で顎を支える、マイクを口元に近づける、カップを口に当てるなどのポーズは厳禁です。
- 目や眉を完全に隠す重い前髪は避けます。
- 太い眼鏡のフレームが目元に濃い影を落としていないか確認してください。
- 高いタートルネックや大柄なマフラーが顎のラインに被らないようにします。
解像度とHedra Elementsの活用
- 解像度： 1024×1024〜2048×2048ピクセルの高品質なPNG、JPG、WebP画像（10MB以内）を推奨します。過度に圧縮された粗い画像は、生成動画で輪郭がチラつく原因になります。
- Hedra Elementsで一貫性を保つ： 複数シーンで同一キャラクターを登場させる場合、Hedraの
Library → Elements → Create elementを使用して、最大10枚の参照画像を登録し、固有の@名前を付与します。Spaceやプロンプト内で@キャラクター名と呼び出すことで、別カット間でもキャラクターの同一性を完全に保持できます。
3. 正確な音素認識のための音声エンジニアリング
Hedraにおいて音声はアニメーションの時計であり、強度を決定づけるトリガーです。
1. 完全に独立した声（ドライ音声）
- BGMや環境音の完全排除： Hedraは声の周波数と楽器の音を分離できません。アコースティックギターの音、シンセサイザーの持続音、街の喧騒などが音声に入っていると、モデルがそれを発話エネルギーとして検出し、話していない合間に口が細かく震えたり、半開きのまま固まったりします。
- BGMは後編集で追加： 音声トラックは必ず声のみ（ドライ音声）で生成します。BGMや効果音は、Hedra内蔵のタイムライン編集機能（Edit Video / Composer）や動画編集ソフトで後から重ねます。
- ノイズリダクション： 録音データは、ElevenLabs Audio IsolationやAdobe Podcast、Audacityなどのノイズ除去ツールを用いて、エアコンの環境音やマイクの電気ノイズを事前に除去し、80Hz以下の不要な低周波をカットしてください。
2. 音量レベル、ダイナミクス、発音
- 適正な音量レベル： 音声のピークは -6 dB〜-3 dBFS の範囲に収めます。0 dBを超えるデジタルクリッピング（音割れ）は波形を矩形波に変形させ、音素認識を致命的に狂わせます。
- 極端なコンプレッションの回避： 抑揚を完全に潰すような過度のリミッター処理は避けてください。ニューラルネットワークは、音量の自然な減衰を手がかりにして口を閉じたり姿勢を戻したりします。
- 明確で聞き取りやすい滑舌： ぼそぼそとした不明瞭な話し方や極端な早口は、音素の境界を曖昧にし、メリハリのない平坦な口の動きになってしまいます。
3. マイクロポーズと呼吸の間隔
- 句読点のないマシンガントークは、まばたきをしない不気味なアバターを生み出します。
- 意味の区切りや文末には、300〜600ミリ秒の完全な無音（ポーズ） を設けてください。Hedra Character 3 は、この無音区間を感知して自然なまばたき、呼吸の微動、頭部のリセット動作を自動生成します。
- Hedra内蔵の Speech ツール（
Manual tools → Speech）で音声を合成する場合は、句読点やスラッシュ（/）の制御タグを活用して適切な間合いと感情トーンを指示できます。
4. Hedraでの制作ワークフロー手順
素材が準備できたら、以下の標準手順で生成を行います。
[規格適合ポートレート（閉口）] ＋ [ドライ音声（-6〜-3 dB）]
│
▼
[モデル選択: Hedra Character 3]
│
▼
[アスペクト比と解像度の設定（1080p）]
│
▼
[演技指示プロンプトの記述（トーン・微動）]
│
▼
[3〜5秒のテストクリップ生成] ──► (口の閉じ具合と品質確認)
│
▼
[本番生成（最大10分対応）]
│
▼
[Hedra ComposerでBGM合成・編集]
ステップ1：アバター生成ツールの起動
- Hedraの管理画面から Manual tools → Video → Avatar を選択します（またはプロジェクトのSpaceを使用）。
- モデルの選択： 最上位モデルである Hedra Character 3（API名
hedra-character-3）を選択します。最大600秒（10分）までの長尺音声入力に対応し、多言語での安定したリップシンクと表情の微細な変化を再現できます。
ステップ2：素材の割り当てと設定
start_imageに準備した中性的なポートレートをアップロード（または登録した@キャラクターElement を指定）。audioにノイズ除去済みのドライ音声をアップロード。- 用途に合わせて Aspect Ratio（プレゼン向け
16:9、スマートフォン向け9:16、SNSフィード向け1:1）と Resolution（推奨1080p）を設定します。
ステップ3：演技を指示するプロンプトの作成
Hedra Avatar のプロンプトでは、画像で定義済みの服装や容姿を繰り返し書く必要はありません。演者のトーン、感情、頭部の動かし方 を指定します。
- プロンプト例：
"A professional product designer explaining technical specifications, confident and engaging demeanor, subtle head gestures, thoughtful cadence, soft studio rim lighting."（技術仕様を解説するプロのプロダクトデザイナー。自信と親しみやすさのある佇まい、さりげない頭部の仕草、落ち着いた語り口、柔らかなスタジオ照明。）
ステップ4：3〜5秒のパイロットテスト
数分の長尺動画を一度に生成する前に、音声の最初の5秒程度を切り出してテスト生成を実施します。
- 「ま行」「ば行」「ぱ行」の発音で唇がしっかりと合わさっているか。
- 無音の間合いで自然なまばたきや頭部の揺れが発生しているか。
- 顎の輪郭や髪の毛にノイズのちらつきがないか。
ステップ5：Hedra Composer（Edit Video）での仕上げ
動画のレンダリングが完了したら、Hedra内蔵のタイムライン編集機能（Manual tools → Edit Video / Composer）へ送ります。
- 複数のカットや別テイクをタイムライン上に配置してテンポを整えます。
- BGM用トラックを追加し、音量を -18 dB〜-24 dB 程度に下げて台詞の邪魔にならないように重ねます。
- 全体のプレビューで口の動きと音の同期を確認し、マスターMP4としてエクスポートします。
5. よくある不具合の診断と解決策
| 症状 | 主な原因 | 解決策 |
|---|---|---|
| 話していない間に口が小刻みに痙攣する | 音声にエアコンの動作音、マイクのヒスノイズ、暗騒音が含まれている。 | ノイズ除去ソフトで無音区間をクリーンアップし、完全な無音にする。 |
| 歯がブレて二重に見える、唇が裂ける | 元画像が笑顔で歯が見えているか、口が半開きになっている。 | 唇が自然に閉じて歯が一切見えないニュートラルな表情の画像に差し替える。 |
| 口だけが動き、顔全体が仮面のように固まる | 元画像に陰影のメリハリがない、またはプロンプトに演技の指示がない。 | プロンプトに "expressive eyes, gentle head movement" などを追加し、立体感のある画像を用いる。 |
| 顎の輪郭がぼやけたり点滅したりする | 元画像の解像度が低い、または顔の角度が横を向きすぎている。 | 1024×1024ピクセル以上の鮮明な画像を使用し、正面から15度以内に収める。 |
| 動画の後半で音と口の動きが徐々にずれる | 音声のサンプリングレートが非標準でクロックドリフトが起きている。 | 音声を標準的な 44.1 kHz または 48 kHz のWAV/MP3形式（固定ビットレート）で書き直す。 |