Comment préparer les portraits de personnages et les pistes audio dans Hedra pour une synchronisation labiale naturelle et des expressions vivantes

Dans la génération de vidéos par intelligence artificielle avec Hedra, le réalisme et la précision de la synchronisation labiale (lip-sync) d'un avatar ne dépendent pas de réglages complexes de rendu, mais de la rigueur apportée à la préparation des deux ressources sources : le portrait statique et la piste vocale. Les moteurs d'avatars de Hedra—notamment Hedra Character 3 (hedra-character-3) et Hedra Avatar—considèrent l'audio comme l'autorité directrice absolue. Le modèle décompose la forme d'onde acoustique en phonèmes, les mappe sur des configurations géométriques buccales (visèmes) et génère des micro-expressions synchronisées au niveau des yeux, des sourcils et de la posture de la tête.

Lorsque les lèvres semblent élastiques, que les dents se dédoublent, que la mâchoire tressaute lors des silences ou que le buste reste figé comme une silhouette en carton, l'anomalie provient presque toujours des fichiers sources : un portrait avec la bouche ouverte, un angle de prise de vue trop prononcé, des bruits parasites de fond ou des niveaux audio saturés.

Ce guide présente les normes techniques de préparation des portraits et des voix, les étapes opérationnelles au sein de la plateforme Hedra, ainsi que les méthodes de contrôle pour obtenir des vidéos d'avatars fluides et expressives.

1. Mécanisme de synchronisation voix-visage dans Hedra

Comprendre le fonctionnement interne de la chaîne de synthèse de Hedra permet d'éviter les erreurs récurrentes :

1. Extraction acoustique des phonèmes : Hedra analyse les attaques vocales, les formants de voyelles et les occlusions de consonnes directement depuis le fichier audio pour cadencer l'animation.
2. Déformation dynamique des visèmes : Le réseau neuronal reconstruit la lèvre supérieure, la lèvre inférieure, la langue et la mâchoire en fonction de la morphologie initiale du visage.
3. Inférence générative des micro-expressions : Des modèles sophistiqués comme Character 3 ne se contentent pas d'animer les lèvres ; ils déduisent des hochements de tête naturels, des battements de paupières réguliers et des hausses de sourcils calquées sur l'intonation et le débit de parole.

Si l'image source présente des zones masquées ou une expression exagérée, le modèle subit des conflits géométriques ; si la piste audio comporte du bruit de fond, le système interprète ces parasites comme des sons vocaux et provoque des contractions involontaires de la bouche.

2. Normes de préparation pour le portrait du personnage

Le portrait n'est pas une simple illustration décorative : il sert de point d'ancrage géométrique à l'ensemble des mouvements musculaires. Respectez rigoureusement ces règles :

Angle de prise de vue, cadrage et posture

• Angle optimal : Utilisez un portrait strictement de face (0°) ou légèrement orienté de trois quarts (entre 0° et 15° par rapport à l'axe central). Les profils prononcés empêchent le suivi bilatéral des lèvres et entraînent des distorsions asymétriques majeures.
• Hauteur de caméra : Placez l'objectif au niveau des yeux du sujet. Une plongée ou une contre-plongée excessive altère les proportions entre le menton et le cou, provoquant des étirements anormaux de la peau lors des mouvements d'élocution.
• Cadrage et marges : Cadrez le sujet à partir du haut du buste ou des clavicules (plan poitrine standard). Conservez un espace suffisant au-dessus de la tête et ne tronquez pas le bas du menton.

Expression initiale : repos neutre avec bouche fermée

• Lèvres fermées ou au repos : La bouche doit être détendue, les lèvres se touchant légèrement ou entrouvertes de 1 à 2 millimètres tout au plus, sans laisser paraître les dents.
• Le piège du « portrait souriant » : N'utilisez jamais une photo avec un large sourire découvrant les dents ou la bouche grande ouverte. Hedra considère la forme buccale de l'image source comme la « pose de repos » (Rest Pose). Si les dents sont déjà visibles, lorsqu'une consonne fermée (comme /m/, /b/, /p/) doit être prononcée, l'algorithme est contraint de compresser les dents visibles, ce qui engendre des « doubles dents » fantômes et des déchirements labiaux inesthétiques.
• Direction du regard : Le personnage doit fixer directement l'objectif ou regarder son interlocuteur avec attention.

Éclairage et absence totale d'occlusion

• Lumière diffuse et homogène : Éclairez les deux côtés du visage de manière équilibrée. Évitez les éclairages latéraux trop tranchés (Split Lighting) et les ombres épaisses sous le menton qui masqueraient le contour des lèvres.
• Règle du zéro obstacle : Les lèvres, la mâchoire, le nez et les yeux doivent être entièrement dégagés :
  • Pas de main appuyée sur le menton, ni de micro ou de tasse devant la bouche ;
  • Évitez les franges épaisses couvrant les sourcils ou les yeux ;
  • Évitez les montures de lunettes épaisses créant des ombres sombres sur le regard ;
  • Évitez les cols roulés très hauts ou les écharpes volumineuses qui dissimulent l'ovale du visage.

Définition et réutilisation avec Hedra Elements

• Résolution : Privilégiez des fichiers PNG, JPG ou WebP de haute qualité entre 1024×1024 et 2048×2048 pixels (10 Mo maximum).
• Gestion des personnages récurrents : Si votre personnage doit intervenir dans plusieurs scènes, créez une entrée dans Library → Elements → Create element. Importez jusqu'à 10 images de référence sous une lumière neutre et définissez un libellé stable @nom. Vous pourrez ensuite mentionner @nom_personnage dans vos Spaces et vos prompts pour préserver une identité visuelle identique.

3. Traitement audio pour des phonèmes impeccables

Dans Hedra, l'audio agit comme le métronome et le régulateur d'intensité de l'avatar. La moindre anomalie sonore se répercute visuellement.

1. Voix sèche et isolée (Dry Audio)

• Aucune musique de fond ni son d'ambiance : Hedra ne sait pas distinguer les fréquences de la parole de celles des instruments. Des accords de guitare, des nappes de synthétiseur ou des bruits de circulation seront interprétés comme de l'énergie vocale, provoquant des tremblements de la bouche ou maintenant les lèvres entrouvertes pendant les pauses.
• Mixage en post-production : La voix doit être enregistrée 100 % à sec pour la génération. La musique d'illustration, les bruitages et les ambiances s'ajoutent ultérieurement dans l'éditeur de timeline de Hedra (Edit Video / Composer) ou dans un logiciel de montage externe.
• Suppression du bruit de fond : Nettoyez la piste à l'aide d'outils d'isolation vocale (tels qu'ElevenLabs Audio Isolation, Adobe Podcast Enhance ou un filtre passe-haut à 80 Hz) pour éliminer les ronflements de climatisation et le souffle électronique.

2. Niveaux, dynamique et diction

• Gestion du gain : Les crêtes vocales doivent osciller entre -6 dB et -3 dBFS. Évitez toute saturation numérique (0 dBFS), car les crêtes écrêtées perturbent l'analyse des consonnes.
• Évitez la compression excessive : N'appliquez pas de limiteur agressif écrasant les nuances. Le modèle a besoin de la baisse naturelle d'énergie en fin de phrase pour refermer la bouche et repositionner la tête.
• Articulation nette : Une diction pâteuse ou un débit trop précipité fusionne les phonèmes, ce qui produit des mouvements labiaux mous et imprécis.

3. Micro-pauses et respiration

• Un monologue continu et sans respiration donne naissance à un avatar robotique et figé.
• Insérez 300 à 600 millisecondes de silence complet entre chaque proposition et fin de phrase. Durant ces respirations, Hedra Character 3 génère naturellement des battements de paupières, des inspirations discrètes et un relâchement de la posture.
• Si vous générez la voix via l'outil Speech de Hedra (Manual tools → Speech), employez la ponctuation et les balises de contrôle avec barre oblique (/) pour modeler la cadence et les nuances émotionnelles.

4. Déroulement opérationnel dans Hedra

Une fois le portrait et la piste vocale préparés, suivez ces étapes de production :

[Portrait conforme (bouche fermée)] + [Piste vocale sèche (-6 à -3 dB)]
                                    │
                                    ▼
                 [Choix du modèle : Hedra Character 3]
                                    │
                                    ▼
                 [Paramétrage format et résolution (1080p)]
                                    │
                                    ▼
                 [Rédaction du prompt de jeu d'acteur]
                                    │
                                    ▼
                 [Test pilote de 3 à 5 secondes] ──► (Vérifier la fermeture labiale)
                                    │
                                    ▼
                 [Génération complète (jusqu'à 10 min)]
                                    │
                                    ▼
                 [Hedra Composer : Ajout de la musique & montage]

Étape 1 : Accéder au module Avatar

• Dans la console Hedra, ouvrez Manual tools → Video → Avatar ou lancez un Space dédié.
• Choix du moteur : Sélectionnez Hedra Character 3 (identifiant API hedra-character-3). Ce modèle prend en charge jusqu'à 600 secondes (10 minutes) d'audio continu, assure un synchronisme multilingue précis et offre une gestuelle faciale riche.

Étape 2 : Lier les ressources et définir le cadrage

• Dans start_image, importez votre portrait neutre préparé (ou sélectionnez l'élément @personnage).
• Dans audio, téléversez la piste vocale isolée.
• Définissez le Format (16:9 pour le format paysage, 9:16 pour le mobile, 1:1 pour le carré) et la Résolution (de préférence 1080p).

Étape 3 : Rédiger un prompt d'interprétation

Dans Hedra Avatar, le prompt ne sert pas à redécrire les vêtements ou les traits physiques (déjà fixés par l'image), mais à guider l'attitude, le regard et l'énergie scénique :

• Exemple opérationnel : "A professional product designer explaining technical specifications, confident and engaging demeanor, subtle head gestures, thoughtful cadence, soft studio rim lighting." (Un designer de produit professionnel expliquant des spécifications techniques, attitude confiante et avenante, légers mouvements de tête, cadence posée, éclairage de studio doux.)

Étape 4 : Réaliser un essai pilote de 3 à 5 secondes

Avant de lancer un rendu de plusieurs minutes, isolez les 5 premières secondes et lancez un test rapide :

1. Les lèvres se rejoignent-elles complètement sur les consonnes bilabiales (/m/, /p/, /b/) ?
2. Les clignements d'yeux et les mouvements de tête se produisent-ils naturellement pendant les silences ?
3. Le contour de la mâchoire reste-t-il net sans scintillement ?

Étape 5 : Assemblage final dans Hedra Composer (Edit Video)

Une fois le clip généré, transférez-le dans l'outil de montage (Manual tools → Edit Video / Composer) :

• Enchaînez plusieurs plans et peaufinez le rythme des transitions.
• Ajoutez une piste secondaire pour la musique d'ambiance en abaissant son volume entre -18 dB et -24 dB pour garantir l'intelligibilité de la voix.
• Visionnez l'ensemble et exportez le fichier final au format MP4.

5. Tableau de dépannage des anomalies visuelles

Références

• Create an avatar or presenter video - Hedra
• Speech - Hedra
• Run Hedra Character 3 (hedra-character-3) - Hedra
• Give the agent visual context - Hedra
• Edit Video - Hedra