Videoschaffende und visuelle Geschichtenerzähler können mit dem KI-Videomodell Vidu von ShengShu AI und der Tsinghua-Universität flüssige, kinoreife Kameraeinstellungen erzielen. Der Schlüssel liegt in der Kombination der multimodalen Eingabemodi — insbesondere Reference-to-Video und Image-to-Video — mit einer strukturierten Prompt-Architektur und präziser Kameraregie. Vidu basiert auf einer eigens entwickelten U-ViT-Transformator-Architektur (Universal Visual Diffusion Model) und löst zwei der hartnäckigsten Probleme des generativen KI-Filmmachings: die visuelle Konsistenz von Figuren und Requisiten über Schnittfolgen hinweg sowie die verzerrungsfreie Darstellung rasanter Kamerabewegungen.
Ob für animierte Kurzfilme, cineastische Sci-Fi-Trailer oder dynamische Werbesequenzen: Wer Vidu meistert, verankert die Identität von Hauptfiguren über Referenzbilder, staffelt Handlungen in sekundengenauen Abschnitten und steuert die virtuelle Kamera mit branchenüblichen Fachbegriffen.
1. Motiv- und Charakterkonsistenz mit Reference-to-Video verankern
Bei herkömmlichen, reinen Text-zu-Video-Workflows (Text-to-Video) führt fast jeder Schnitt zum gefürchteten „Character Drift“: Gesichtsmerkmale, Frisuren, Statur oder Kostümdetails verändern sich von Einstellung zu Einstellung. Vidu begegnet diesem Phänomen mit dem Reference-to-Video-Modus, bei dem zwischen 1 und 7 Referenzbilder hochgeladen werden können, um eine stabile visuelle Identität zu fixieren.
Aufbau eines wirksamen Referenzsets
Damit das Modell die räumliche Struktur einer Figur aus unterschiedlichen Perspektiven fehlerfrei versteht:
- Mehrere Blickwinkel bereitstellen: Laden Sie 3 bis 5 hochauflösende Bilder hoch — darunter ein frontales Porträt, ein Dreiviertelprofil und eine dynamische Ganzkörperaufnahme.
- Beleuchtung und Kleidung vereinheitlichen: Die Garderobe, Farbschemata und Haardetails müssen über alle Referenzbilder hinweg identisch sein. Nutzen Sie idealerweise neutrale Studioausleuchtung oder schlichte Hintergründe, um Verwirrungen durch Streulicht zu vermeiden.
- In der Motivbibliothek (RefHub) speichern: Für fortlaufende Serien oder umfangreiche Projekte empfiehlt es sich, die Figur in Vidus Motivbibliothek abzulegen. In nachfolgenden Prompts genügt der Tag
@Charaktername, um die Figur ohne erneuten Upload projektübergreifend abzurufen.
Klare Aufgabenteilung zwischen Referenz und Text
Ist der Referenzmodus aktiv, müssen Bild und Text klar getrennte Funktionen übernehmen:
- Referenzbilder definieren die physische Identität, Gesichtsgeometrie, Kostümierung und anatomischen Proportionen.
- Text-Prompts diktieren die dramaturgische Handlung, Mimik, Lichtstimmung, Wettereinflüsse und die Kinematik der Kamera.
- Wichtiger Hinweis: Vermeiden Sie widersprüchliche Angaben im Text (z. B. im Prompt einen „schwarzen Ledermantel“ zu beschreiben, wenn die Referenz eine „blaue Jeansjacke“ trägt). Widersprüche führen zu Bildartefakten und Kantenflimmern.
2. Filmische Prompts mit präzisen Regie-Befehlen strukturieren
Vage Beschreibungen wie „epische Action“ oder „cineastisches Meisterwerk“ resultieren meist in langsamen, statisch driftenden Einstellungen. Dynamische Kamerabewegungen verlangen nach einer fünfgliedrigen Prompt-Formel:
$$\text{[Subjekt & Aktion]} + \text{[Kamerabewegung & Einstellungsgröße]} + \text{[Licht & Atmosphäre]} + \text{[Zeitliches Pacing]} + \text{[Physik & Oberflächen]}$$
Essentielles Vokabular der Kameraführung
Vidus semantischer Parser reagiert exakt auf etablierte filmsprachliche Regieanweisungen:
- Low-Angle Tracking Shot (Bodennahe Verfolgungsfahrt): Führt die Kamera knapp über dem Boden parallel zu rennenden Figuren oder beschleunigenden Fahrzeugen und maximiert das Tempoempfinden.
- Slow Dolly In / Push In (Langsame Kamerafahrt nach vorn): Fährt sanft auf das Gesicht einer Figur zu, um dramatische Anspannung oder Schockmomente zu vertiefen.
- Crash Zoom (Rasanter Reißzoom): Zieht schlagartig auf den Kollisionspunkt oder eine plötzliche Enthüllung heran.
- Orbital Arc / 360-Degree Pan (Orbitaler 360-Grad-Kameraschwenk): Umkreist die Figur flüssig, um ihre Beziehung zum umgebenden Raum sichtbar zu machen.
- Handheld Kinetic Shake (Dynamisches Handkamera-Wackeln): Fügt organische Erschütterungen bei Einschlägen, Sprunglandungen oder Detonationen hinzu und vermittelt physische Wucht.
Zeitgesteuertes Pacing (Multi-Beat Prompting)
Für Clips mit einer Laufzeit von 8 bis 16 Sekunden (verfügbar in den Modellen Vidu Q und neuer) lassen sich Handlungsabläufe sekundengenau im Prompt choreografieren:
Praxisbeispiel für einen filmischen Action-Prompt: „Halte die visuelle Konsistenz der Referenzfigur strikt ein.
- 0–3 Sekunden: Frontale, bodennahe Verfolgungsfahrt. Ein kybernetischer Krieger sprintet bei Dämmerung durch eine regennasse Gasse; Neonlichter spiegeln sich in Pfützen.
- 3–5 Sekunden: Kamera vollzieht eine weiche orbitale Schwenkbewegung ins Profil, während der Krieger unter einem sich schließenden Panzertor hindurchgleitet; Funken sprühen von den Knieschonern.
- 5–8 Sekunden: Schnitt auf eine extreme Nahaufnahme des leuchtenden Helmvisiers; flache Schärfentiefe, Wassertropfen auf kaltem Metall, anamorphotische Lens Flares. Cineastischer Spielfilm-Look, 24fps-Bewegungsrhythmus, volumetrischer Nebel, realistische Metallphysik, spürbare Wucht.“
Absicherung durch Negative Prompts
Um Verzerrungen und typische KI-Fehler zuverlässig auszuschließen, sollte das Feld für negative Prompts stets gepflegt werden:
mutated hands, distorted fingers, duplicate limbs, clipping clothing, background warping, frame flicker, low contrast, oversaturated colors, text, watermark, cartoon shader, sudden jump cuts
3. Nahtlose Übergänge mit Image-to-Video und Start/End Frames
Verlangt das Storyboard die exakte Einhaltung von Start- und Endbildern, ist die rein textbasierte Generierung zu unberechenbar. Hier bietet die bildbasierte Keyframe-Steuerung die nötige Präzision.
Statische Ausgangsbilder animieren (Image-to-Video)
Laden Sie ein Konzept-Artwork oder ein 3D-Rendering als Start-Frame hoch. Im Prompt beschreiben Sie ausschließlich die Dynamik der Kamera und der Szene (z. B. „Kamera fährt von der Gestalt am Fenster zurück und steigt empor, um das Panorama der sturmumtosten Ruinenstadt zu enthüllen“).
Start- und End-Frame-Modus
Für komplexe Choreografien oder Übergänge zwischen zwei klar definierten Zuständen (wie das Ziehen eines Schwertes bis zum vollendeten Hieb, oder das Verlassen eines dunklen Ganges auf einen hellen Platz):
- Frame A (Start) hochladen: Die Ausgangspose oder Startkomposition.
- Frame B (Ende) hochladen: Die Zielpose oder Abschlusskomposition.
- Verbindungspfad beschreiben: Erläutern Sie im Text-Prompt das Tempo, den Kameraweg und die physikalischen Abläufe zwischen beiden Punkten.
- Ergebnis: Vidu berechnet die Bewegungstrajektorie und Zwischenbilder exakt zwischen den Fixpunkten, ohne dass Hintergründe morphen oder Figuren ihre Gestalt verlieren.
4. Integrierte Audio-Erzeugung und Postproduktion
Vidu verfügt über eine integrierte audiovisuelle Synthese, die passende Geräuschkulissen, Foley-Effekte und Aufprallgeräusche parallel zum Bild berechnet.
- Klangsynchronisation: Akustische Hinweise im Prompt (z. B. „schweres metallisches Schleifen“, „prasselnder Platzregen“) veranlassen Vidus Sound-Engine, passende Tonspuren synchron zur Action anzulegen, was den Rohschnitt erheblich beschleunigt.
- Seitenverhältnis und Auflösung: Wählen Sie
16:9für Widescreen-Produktionen,2.39:1für anamorphotische Cinemascope-Ästhetik oder9:16für vertikale Social-Media-Trailer. Rendern Sie zunächst nativ in 1080p und nutzen Sie bei Bedarf 4K-Upscaling in DaVinci Resolve oder Premiere Pro. - Kosten- und Teststrategie: Testen Sie Kamerafahrten und Mimik stets mit kurzen 4-Sekunden-Entwürfen vorab, bevor Sie Renderguthaben für finale 8- oder 16-Sekunden-Masterclips aufwenden.
5. Übersicht bewährter Praktiken
| Phase | Empfohlene Vorgehensweise | Häufiger Fehler |
|---|---|---|
| Figur anlegen | 3–7 hochauflösende Bilder in der Motivbibliothek hinterlegen | Nur ein einzelnes, pixeliges Frontal-Selfie hochladen |
| Prompt-Design | Filmsprachliche Fachbegriffe mit Sekunden-Timing kombinieren | Rein subjektive Adjektive wie „meisterhaft“ oder „unglaublich“ |
| Schwierige Aktionen | Start and End Frame zur Fixierung von Anfang und Ende nutzen | Akrobatische Bewegungen rein textlich erraten lassen |
| Qualitätskontrolle | Negativen Prompt ausfüllen, um Verformungen zu blockieren | Negativen Prompt leer lassen und Bildartefakte riskieren |
Die Verankerung von Figuren über Multi-Image-Referenzen, die Steuerung der Kamera über etablierte Kinobegriffe und die sekundengenaue Regieführung machen Vidu zu einer verlässlichen virtuellen Filmkamera für anspruchsvolle visuelle Produktionen.