Les créateurs de vidéo et les narrateurs visuels peuvent concevoir des plans cinématographiques fluides et immersifs sur Vidu en associant ses modes d'entrée multimodaux — en particulier Reference-to-Video et Image-to-Video — à une ingénierie de prompt rigoureuse et une direction de caméra explicite. Conçu par ShengShu AI et l'Université Tsinghua autour de l'architecture U-ViT (Universal Visual Diffusion Model), Vidu surmonte deux des écueils majeurs de la vidéo générative par IA : la dérive d'apparence des personnages d'un plan à l'autre et la distorsion spatiale lors de mouvements de caméra rapides.
Qu'il s'agisse de réaliser un court-métrage d'animation, une bande-annonce d'action en prises de vue réelles ou des séquences publicitaires stylisées, la maîtrise de Vidu repose sur la fixation de l'identité visuelle par des images de référence, le découpage temporel des actions et le choix précis du vocabulaire de tournage.
1. Verrouiller la cohérence des personnages avec Reference-to-Video
Dans les flux de travail traditionnels reposant uniquement sur le texte (Text-to-Video), chaque coupe risque de provoquer une « dérive de personnage » (character drift), où les traits du visage, la coupe de cheveux ou la tenue changent subtilement. Vidu neutralise ce défaut grâce à son mode Reference-to-Video, permettant d'importer de 1 à 7 images de référence pour ancrer fermement les caractéristiques du sujet.
Constituer un jeu de références efficace
Pour que le modèle appréhende le volume et les détails anatomiques sous n'importe quel angle :
- Multiplier les angles de vue : Importez de 3 à 5 images en haute résolution comprenant un portrait de face, un profil de trois-quarts et une vue en pied dans une posture dynamique.
- Standardiser le costume et l'éclairage : Veillez à ce que la tenue, les nuances de couleur et la coiffure soient rigoureusement identiques sur toutes les images, de préférence sous un éclairage neutre de studio ou sur fond uni pour éviter les reflets parasites.
- Enregistrer dans la bibliothèque de sujets (RefHub) : Pour un projet sériel ou une production à long terme, sauvegardez la fiche du personnage dans la bibliothèque Vidu. Dans les prompts ultérieurs, il suffira de mentionner
@NomDuPersonnagepour rappeler instantanément son apparence sans réimporter de fichiers.
Partage des rôles entre l'image et le texte
Lorsque le mode de référence est activé, établissez une démarcation nette des responsabilités :
- Les images de référence déterminent l'identité, l'ossature faciale, les textures de vêtements et les proportions physiques.
- Le prompt textuel commande le jeu d'acteur, les émotions, l'éclairage dramatique, les conditions climatiques et la trajectoire de la caméra.
- Mise en garde : N'introduisez jamais de descriptions contradictoires dans le texte (par exemple, décrire un « manteau en cuir noir » si l'image de référence montre un « blouson en jean bleu »). Ces contradictions provoquent des aberrations visuelles et des scintillements de contours.
2. Structurer des prompts cinématographiques avec des termes de mise en scène
Les requêtes vagues (telles que « scène d'action grandiose » ou « rendu cinéma ») n'aboutissent le plus souvent qu'à des plans lents et contemplatifs. Pour impulser une véritable dynamique cinématographique, appliquez une formule en cinq volets :
$$\text{[Sujet & Action]} + \text{[Mouvement de caméra & Cadrage]} + \text{[Lumière & Atmosphère]} + \text{[Rythme temporel]} + \text{[Physique & Textures]}$$
Vocabulaire indispensable de réalisation
Le processeur sémantique de Vidu interprète fidèlement les termes techniques du cinéma :
- Low-Angle Tracking Shot (Travelling en contre-plongée au ras du sol) : Place l'objectif au niveau du sol en suivant un personnage ou un bolide à pleine vitesse pour décupler la sensation d'accélération.
- Slow Dolly In / Push In (Travelling avant lent) : Rapproche l'objectif avec fluidité vers le visage du sujet pour marquer une montée de suspense ou un choc dramatique.
- Crash Zoom (Zoom coup de poing) : Resserre brutalement la focale vers un point d'impact ou une révélation inattendue.
- Orbital Arc / 360-Degree Pan (Panoramique orbital / travelling circulaire) : Tourne harmonieusement autour du sujet pour établir la scénographie et la disposition de l'environnement.
- Handheld Kinetic Shake (Vibration caméra à l'épaule) : Injecte de légères secousses lors de collisions, de sauts ou d'explosions pour matérialiser l'onde de choc physique.
Découpage temporel par secondes (Multi-Beat Prompting)
Pour les prises de vue de 8 à 16 secondes (disponibles sur les modèles Vidu récents), l'action gagne en intensité lorsqu'elle est cadencée seconde par seconde :
Exemple de prompt d'action cinématographique : « Conserver une stricte fidélité au sujet de référence importé.
- 0–3 secondes : Travelling avant en contre-plongée au ras du sol. Un guerrier cybernétique sprinte à pleine vitesse dans une ruelle détrempée au crépuscule ; des reflets néon éclaboussent les flaques d'eau.
- 3–5 secondes : La caméra pivote en travelling orbital vers le profil tandis que le guerrier glisse sous une herse blindée en train de se fermer ; de vives étincelles jaillissent de ses genouillères renforcées.
- 5–8 secondes : Coupe franche vers un très gros plan de la visière du casque ; profondeur de champ courte, gouttes d'eau ruisselant sur le métal froid, reflets anamorphiques. Rendu film d'action cinématographique, cadence 24 fps, brume volumétrique, texture physique réaliste du métal, fort impact physique. »
Définir un prompt négatif (Negative Prompt)
Pour assurer un résultat directement exploitable sans scories génératives, renseignez le champ de prompt négatif :
mutated hands, distorted fingers, duplicate limbs, clipping clothing, background warping, frame flicker, low contrast, oversaturated colors, text, watermark, cartoon shader, sudden jump cuts
3. Piloter des transitions nettes avec Image-to-Video et les Start/End Frames
Lorsque le storyboard impose que le début et la fin d'un plan respectent des cadrages millimétrés, le texte seul comporte trop d'aléas. L'interpolation d'images clés s'avère indispensable.
Animation d'une image fixe (Image-to-Video)
Importez un concept art ou un rendu 3D comme image de départ. Dans le prompt, décrivez uniquement le mouvement de la caméra et le réveil des éléments du décor (par exemple : « la caméra recule depuis la silhouette à la fenêtre pour dévoiler le panorama de la mégapole en ruines sous l'orage »).
Mode Start and End Frame (Images clés de début et de fin)
Pour les actions complexes ou les bascules entre deux états précis (dégainer une arme et porter un coup, ou sortir d'un couloir sombre pour émerger sur une place ensoleillée) :
- Importer la Frame A (Début) : La pose et la composition initiales.
- Importer la Frame B (Fin) : La pose et le cadrage d'arrivée.
- Détailler la trajectoire médiane : Spécifiez dans le prompt la vitesse, l'axe de caméra et la physique liant le point A au point B.
- Résultat : Vidu calcule l'interpolation et la dynamique physique entre les deux repères fixes, sans risque de voir le décor muter ou la silhouette se désagréger.
4. Synthèse audiovisuelle intégrée et finition en post-production
Vidu intègre un moteur de synthèse audiovisuelle simultanée, produisant les ambiances sonores, les bruitages de pas (foley) et les impacts directement calés sur l'animation.
- Coordination sonore : Intégrer des mentions sonores dans le prompt (ex. « frottement métallique lourd », « grondement de moteur », « claquement de pluie torrentielle ») permet à Vidu de composer des pistes audio coordonnées, écourtant considérablement l'étape de pré-montage.
- Ratios d'image et résolution : Optez pour le
16:9en standard cinéma, le2.39:1pour un format Scope anamorphique ou le9:16pour les formats mobiles verticaux. Effectuez un premier rendu natif en 1080p, puis réalisez un rééchantillonnage 4K dans DaVinci Resolve ou Premiere Pro pour les diffusions sur grand écran. - Gestion du temps et des crédits : Validez systématiquement le cadrage et la physionomie sur de courtes itérations de 4 secondes avant d'engager vos quotas sur des plans maîtres de 8 ou 16 secondes.
5. Synthèse des bonnes pratiques
| Étape | Méthode recommandée | Piège fréquent à éviter |
|---|---|---|
| Création du personnage | Déposer 3 à 7 photos multi-angles dans la bibliothèque | N'utiliser qu'un seul selfie frontal de basse définition |
| Rédaction du prompt | Associer termes de caméra stricts et découpage en secondes | Se contenter de superlatifs vagues comme « chef-d'œuvre » |
| Actions complexes | Fixer les extrémités avec le mode Start and End Frame | Tenter de décrire une cascade acrobatique complexe uniquement par texte |
| Finition esthétique | Renseigner le prompt négatif pour éliminer les difformités | Laisser le prompt négatif vierge et subir des mutations |
En conjuguant des références visuelles solides, un vocabulaire cinématographique rigoureux et un séquençage temporel millimétré, les créateurs font de Vidu une véritable caméra virtuelle au service de leurs récits visuels.