Conserver l'apparence exacte d'un personnage d'un plan à l'autre a longtemps représenté le défi technique le plus complexe en vidéo générative par intelligence artificielle. Avec les outils traditionnels générant des vidéos uniquement à partir de texte (Text-to-Video), chaque itération est traitée de manière isolée : même en décrivant minutieusement un protagoniste aux « cheveux bruns et blouson en cuir », le visage change au premier raccord, le vêtement prend une autre texture au deuxième et les proportions corporelles se déforment au troisième. Ce phénomène, qualifié de « dérive d'identité » (character drift), empêche tout assemblage cohérent d'un storyboard ou d'un récit cinématographique.
Pour surmonter cette rupture, la plateforme Vidu, conçue par Shengshu Technology, intègre le mode Reference to Video (génération vidéo par référence). Cette fonctionnalité permet aux créateurs d'importer de 1 à 7 images fixes de référence ou d'exploiter des personnages prédéfinis enregistrés dans la bibliothèque RefHub / My References. En verrouillant la structure faciale, la silhouette et la charte chromatique directement sur des données visuelles, Vidu découple l'identité graphique des instructions de mouvement et de caméra. Les réalisateurs et animateurs peuvent ainsi enchaîner les séquences tout en conservant un protagoniste parfaitement identifiable.
Découvrez la méthodologie de travail, la formulation des prompts et les choix techniques indispensables pour garantir la continuité de vos personnages avec Vidu.
1. Stratégie de préproduction : concevoir les images ancres avant d'animer
La règle d'or en production vidéo par IA est formelle : il faut d'abord créer et figer des visuels de référence nets, puis animer le mouvement dans un second temps. Les modèles de diffusion vidéo atteignent leur précision maximale lorsque l'apparence physique du sujet est débarrassée de toute ambiguïté.
Élaboration du pack de références maître (1 à 7 images)
Vidu permet d'associer jusqu'à sept images de référence pour chaque rendu. Si un portrait frontal unique suffit parfois pour un plan fixe simple, un découpage narratif dynamique nécessite une panoplie complète d'angles de vue (character turnaround pack) :
- Diversité des angles : Fournissez au moins un gros plan de face sous un éclairage neutre, une vue de trois quarts (3/4) et un profil latéral strict.
- Silhouette et proportions du costume : Ajoutez au moins un plan en pied montrant la stature, la morphologie et la coupe des vêtements caractéristiques.
- Harmonie stylistique : Toutes les références doivent partager le même style graphique. Dans la pratique, l'animation 2D, l'esthétique manga/anime et la 3D stylisée conservent leur cohérence temporelle bien plus solidement que le photoréalisme complexe, car les aplats de couleur et les contours nets offrent des repères géométriques stables aux réseaux de neurones.
- Éliminer les éléments perturbateurs : Proscrivez les images comportant des grimaces prononcées, un flou de mouvement (motion blur), des ombres trop denses ou des motifs microscopiques complexes (comme de la dentelle fine ou un tissu pied-de-poule serré). Les micro-détails à haute fréquence ont tendance à scintiller et à se disloquer lors de l'interpolation temporelle des images.
Classez soigneusement ces images dans vos dossiers et enregistrez-les dans l'onglet My References de RefHub au sein de Vidu pour les réutiliser d'un simple clic d'un projet à l'autre.
2. Déroulement opérationnel en 4 étapes dans Vidu
Une fois vos images de référence prêtes, rendez-vous sur la console Vidu et ouvrez l'espace de travail Reference to Video (/create/character2video).
[Pack maître de références (1 à 7 images)]
│
▼
┌───────────────────────┐
│ Vidu Reference to │ ◄─── Prompts découplés (Mouvement et caméra uniquement)
│ Video Workspace │
└───────────┬───────────┘
│
├── Plan 01: Personnage à la fenêtre, travelling avant (Push-In, 8s)
├── Plan 02: Personnage se retourne et sourit, plan moyen (4s)
└── Plan 03: Personnage court sous la pluie, travelling suiveur (8s)
Étape 1 : Importer les repères visuels
Dans la zone de saisie, cliquez sur +Reference ou sur le bouton Refs. Téléversez vos 1 à 7 images de référence. Si votre séquence nécessite de fixer un accessoire particulier ou un arrière-plan récurrent, vous pouvez lui dédier un emplacement, mais réservez la majorité des créneaux aux différentes vues du protagoniste pour maximiser la fidélité de ses traits.
Étape 2 : Rédiger des prompts découplés
L'erreur la plus répandue consiste à réécrire la description physique du personnage dans le champ texte (par exemple : "Un jeune détective aux yeux bleus et manteau beige marche dans la rue"). Cette redondance crée un conflit sémantique direct entre les tokens de l'image et les tokens textuels, aboutissant à des déformations faciales.
La technique professionnelle consiste à découpler totalement l'apparence physique de l'action :
- L'apparence visuelle est déléguée intégralement aux images de référence.
- Le prompt textuel est réservé exclusivement aux verbes d'action, aux émotions, à la lumière et aux mouvements d'appareil.
Exemple de prompt efficace :
The character walks rapidly through a rain-slicked neon street, looking over their shoulder with an anxious expression. Cinematic atmospheric lighting, puddle reflections. Camera tracking shot moving backward at eye level.(Le personnage marche d'un pas rapide dans une rue éclairée aux néons et trempée par la pluie, regardant par-dessus son épaule d'un air inquiet. Éclairage atmosphérique cinématographique, reflets dans les flaques d'eau. Travelling arrière de la caméra à hauteur des yeux).
Étape 3 : Ajuster les paramètres de rendu
- Sélection du modèle : Privilégiez la dernière version disponible (comme Vidu Q3), optimisée pour le respect des lois physiques et l'adhérence rigoureuse aux références.
- Format d'image (Aspect Ratio) : Choisissez le format
16:9pour les courts-métrages et YouTube, ou le9:16pour les formats verticaux destinés à TikTok, Instagram Reels ou aux fictions mobiles. - Durée et amplitude de mouvement : Sélectionnez des plans de 4 ou 8 secondes. Pour les scènes intimistes ou de dialogue, maintenez une amplitude de mouvement (Motion Amplitude) modérée pour préserver les expressions du visage. Pour des scènes d'action intense, augmentez l'amplitude tout en inspectant la propreté de chaque photogramme.
Étape 4 : Génération des raccords suivants
Pour produire les plans 2 et 3 de votre scène :
- Conservez impérativement le même lot de 1 à 7 images dans les emplacements de référence.
- Modifiez uniquement le prompt texte pour décrire l'action suivante :
- Plan 2 (Plan de réaction) :
Le personnage s'assied à une table de café, retire ses gants et expire lentement. Lumière chaude d'intérieur, plan moyen, travelling avant progressif (Slow Camera Push-In). - Plan 3 (Point dramatique) :
Le personnage remarque une enveloppe sur la table, tend la main pour l'ouvrir d'un regard attentif. Gros plan sur les mains et le visage, légère vibration de caméra portée.
- Plan 2 (Plan de réaction) :
- Grâce à cette mémoire visuelle sous-jacente constante, l'ossature faciale, la coiffure et la tenue restent parfaitement homogènes d'un décor à l'autre.
3. Comparatif des approches et compromis de production
Pour optimiser le temps et les crédits alloués à vos projets, il convient de situer Vidu face aux autres méthodes du marché :
| Critère de comparaison | Vidu Reference to Video | Texte seul (Text-to-Video) | Inpainting manuel et Face-Swap |
|---|---|---|---|
| Stabilité du sujet | Élevée : Ancrée géométriquement par 1 à 7 vues | Très faible : Changement de visage à chaque essai | Élevée : Remplacement pixel par pixel sur vidéo source |
| Effort de préparation | Faible : Nécessite 3 à 5 illustrations ou photos nettes | Nul : Saisie immédiate de texte | Très lourd : Configuration ComfyUI, entraînement LoRA |
| Rapidité d'exécution | Rapide : Génération parallèle sur le cloud via navigateur | Trompeuse : Rendus aléatoires nécessitant des dizaines de tirages | Lente : Longs calculs de rendu local et retouches manuelles |
| Domaines d'excellence | Courts-métrages d'animation, pubs narratives, storyboards | Idéation préliminaire, plans d'effets visuels isolés | Finitions VFX pour le cinéma, remplacement de doublures |
Limites actuelles et conseils pratiques
- Scènes à plusieurs personnages : Si vous intégrez deux personnages principaux différents dans une même requête pour les faire interagir de près, les modèles de diffusion risquent de mélanger leurs traits (couleurs de vêtements ou coiffures inversées). La pratique recommandée consiste à tourner des plans individuels en champ/contrechamp pour les dialogues, et à réserver les plans d'ensemble larges pour situer les deux protagonistes dans l'espace.
- Assemblage modulaire au montage : Vidu est pensé pour générer des séquences unitaires de 4 à 8 secondes. N'essayez pas de concentrer toute une scène complexe dans un seul prompt. Utilisez Vidu comme une caméra de tournage capturant des plans séparés, puis effectuez le découpage, l'étalonnage et le mixage sonore dans Premiere Pro, DaVinci Resolve ou Final Cut Pro.
- Licences et filigranes : Les comptes gratuits permettent d'expérimenter et de tester des concepts, mais les vidéos exportées comportent un filigrane et n'incluent pas de droits d'exploitation commerciale. Pour livrer des prestations à des clients, diffuser des campagnes publicitaires ou monétiser des vidéos, souscrivez un forfait payant garantissant des exports haute définition sans filigrane et une autorisation commerciale conforme.
4. Checklist récapitulative pour les animateurs
Avant de lancer votre prochaine production de plans animés :
- Préparez 3 à 5 références épurées (face, profil, plan en pied) sous un éclairage homogène.
- Archivage centralisé : Enregistrez vos éléments dans RefHub / My References pour y accéder à tout moment.
- Appliquez le découpage strict du prompt : Décrivez uniquement les actions, les émotions et le cadrage, sans redéfinir l'anatomie.
- Verrouillez les réglages : Gardez le même modèle et le même format d'image pour tous les plans d'une même séquence.
- Montez vos modules de 4 à 8 secondes dans votre logiciel de montage non linéaire pour insuffler le rythme narratif définitif.
En dissociant l'identité visuelle de l'instruction de mouvement, le mode de référence de Vidu transforme la vidéo générative en un outil de découpage prévisible, stable et adapté aux exigences des studios.