Mit dem Modify Video-Werkzeug von Luma Dream Machine können bestehende Videoaufnahmen stilistisch transformiert werden, indem das Ausgangsmaterial als raumzeitliches geometrisches Gerüst dient. Oberflächentexturen, Beleuchtung und Umgebungen lassen sich austauschen, während die originale Bewegungsbahn der Kamera und das Timing der Darsteller präzise gesichert bleiben. Im Gegensatz zur standardmäßigen Text-zu-Video-Generierung, bei der Kamerapfade unvorhersehbar variieren, nutzt Modify Video eine Video-zu-Video-Diffusionsarchitektur, die an den optischen Fluss jedes Einzelbildes und fein abgestufte Adhärenzstufen gebunden ist.
Für Visual-Effects-Artists (VFX), Werbe-Editoren und Regisseure löst dies ein zentrales Problem: Das erneute Drehen aufwendiger Kran- oder Dolly-Fahrten ist kostenintensiv, während unkontrollierte KI-Generierungen die reale Kameraführung zerstören. Mit Modify Video bleiben Dolly-Fahrten, Drohnenflüge, Schwenks und Handkameraaufnahmen intakt, während die visuelle Szenerie komplett neu interpretiert wird.
Warum Text-zu-Video abdriftet und wie Modify Video Bewegung fixiert
In herkömmlichen Text-zu-Video-Systemen agiert das Diffusionsmodell in einem ungebundenen latenten Raum. Selbst wenn Beschreibungen wie "langsamer Dolly-Zoom" oder "Kameraschwenk nach links" im Prompt formuliert werden, errechnet das Modell eine zufällige Näherung. Geschwindigkeit, Brennweite und Abstände zum Motiv verändern sich bei jedem Rendervorgang.
Modify Video verhindert diesen Drift durch drei Kernmechanismen:
- Kontinuierliche Bewegungskonditionierung über optischen Fluss: Das hochgeladene Quellvideo dient als zeitlicher Anker. Das Modell analysiert Geschwindigkeitsvektoren und Parallaxenunterschiede zwischen den Einzelbildern, wodurch die Tiefenrelationen der realen Kamerabewegung folgen müssen.
- Visuelle Verankerung über das Startbild (
first_frame): Anwender können ein stilistisch vorbearbeitetes erstes Einzelbild übergeben. Dadurch wird die visuelle Tonalität bei Frame 0 festgelegt, und alle Folgekader diffundieren stabil entlang der vorgegebenen Kamerakurve ohne Farb- oder Stilflackern. - Kalibrierte Adhärenzmodi (Adhere, Flex und Reimagine): Ein neunstufiges Spektrum ermöglicht es Kreativen, das Verhältnis zwischen künstlerischer Verfremdung und geometrischer Bewegungstreue exakt abzustimmen.
Adhärenz-Stufen im Vergleich: Stilfreiheit versus Kamerageometrie
Die Wahl des passenden Modus entscheidet darüber, wie zuverlässig die Kameraführung die Transformation übersteht.
| Modus-Familie | API-Parameter | Strukturelles Verhalten | Empfohlene Einsatzbereiche |
|---|---|---|---|
| Adhere | adhere_1, adhere_2, adhere_3 | Maximale geometrische Bindung; sperrt Kanten und Kamerapfad; modifiziert Texturen, Farben und Beleuchtung. | Tag-zu-Nacht-Wandlung; Relighting (Neuausleuchtung); kommerzielles Color Grading; Materialanpassungen (z. B. Stoff zu Chrom). |
| Flex | flex_1, flex_2, flex_3 | Ausgewogene Flexibilität; wahrt Körpersprache, Lippensynchronität und Kameratempo; erlaubt den Austausch von Kleidung, Requisiten und Kulissen. | Straßen in Cyberpunk-Gassen verwandeln; Realdarsteller in 3D-Animationsfiguren überführen; Kulissenwechsel ohne manuelle Rotoskopie. |
| Reimagine | reimagine_1, reimagine_2, reimagine_3 | Maximale generative Freiheit; verändert Anatomie und Architektur grundlegend; behält Bewegungsrichtung und zeitliches Metrum der Kamera bei. | Sci-Fi- und Fantasy-Konzeptfilme; Transformation von Personen in Roboter oder Statuen; Verwandlung von Innenräumen in Raumstationen. |
Schritt-für-Schritt-Workflow in Dream Machine
Ob über die Benutzeroberfläche von Dream Machine oder per API-Schnittstelle – der Ablauf gliedert sich in fünf Schritte:
Schritt 1: Quellmaterial vorbereiten und trimmen
- Verwenden Sie zusammenhängende Einstellungen ohne Schnitte.
- Wählen Sie Clips mit sauberer Kameradynamik (Dolly, Pedestal, Schwenk, Orbit). Vermeiden Sie übermäßiges Sensorrauschen bei Dunkelheit oder extreme Bewegungsunschärfe.
- Technische Grenzwerte beachten: Bis zu 10 Sekunden beim Modell
ray-2, bis zu 15 Sekunden beiray-flash-2, maximale Dateigröße 100 MB.
Schritt 2: Generierungsauftrag einrichten
Öffnen Sie in Dream Machine ein neues Board, wählen Sie den Reiter Modify und laden Sie das Video hoch.
Für Entwickler über die API lautet der Aufbau des modify_video-Requests wie folgt:
{
"generation_type": "modify_video",
"media": {
"url": "https://assets.yourstudio.com/raw_footage/dolly_shot.mp4"
},
"first_frame": {
"url": "https://assets.yourstudio.com/guides/dolly_shot_stylized_frame0.png"
},
"mode": "flex_2",
"model": "ray-2",
"prompt": "A futuristic cyborg operative walking through a rain-slicked neo-Tokyo alley, neon reflections on wet asphalt, volumetric mist, cinematic 35mm lighting"
}
Schritt 3: Erstes Bild als visuellen Stilanker nutzen
Obwohl der Parameter first_frame optional ist, erhöht er in professionellen Produktionen die Stabilität erheblich:
- Exportieren Sie Frame 0 aus Ihrer Schnittsoftware.
- Bearbeiten Sie das Bild in Photoshop oder mit einem Bildgenerator im gewünschten Zielstil.
- Übergeben Sie die Bild-URL an
first_frame.url. Die Diffusion startet somit von einer festen Vorlage und verhindert Flackern zu Beginn.
Schritt 4: Präzise, zielgerichtete Prompts verfassen
Prompts für Modify Video sollten beschreiben, was ersetzt werden soll – nicht wie die Kamera fährt:
- Fokus auf Ersetzung: Formulieren Sie klar: "Geschäftsanzug durch taktische Rüstung ersetzen; Büroflur in Betonbunker verwandeln".
- Keine redundanten Kamerabefehle: Fügen Sie keine Textanweisungen wie "Kameraschwenk links" hinzu. Die Bewegung ist bereits in den Videodaten hinterlegt; widersprüchliche Texteingaben führen zu Interpolationsfehlern.
- Lichtverhalten beschreiben: Beschreiben Sie, wie die neue Beleuchtung auf die Kamerabewegung reagiert (z. B. Reflexionen auf nassem Asphalt oder Linsenspiegelungen bei Positionswechsel).
Schritt 5: Vorschau prüfen und fertigstellen
Überprüfen Sie das vorläufige Ergebnis. Wenn die stilistische Änderung zu subtil ausfällt, erhöhen Sie von flex_1 auf flex_3. Zeigen sich an Kanten im Vordergrund Artefakte, wechseln Sie zurück zu adhere_2 oder adhere_3. Rendern Sie anschließend in der finalen Auflösung.
Modellauswahl und Budgetplanung
Luma stellt zwei Rechenmodelle für Video-Modifikationen bereit:
- ray-2 ($0,01582 pro Million Pixel): Das Flaggschiff-Modell für High-End-Produktionen. Es bietet höchste zeitliche Kohärenz, detailgetreue Mikrotexturen und überzeugende Tiefenschärfe (ein 5-Sekunden-Clip in 720p 16:9 liegt bei ca. $1,75).
- ray-flash-2 ($0,00544 pro Million Pixel): Die schnelle, kostengünstige Alternative (gleicher 5-Sekunden-Clip ca. $0,60). Perfekt für frühe Konzeptphasen, Storyboard-Tests und kurzlebigen Social-Media-Content.
Praxishinweise für VFX-Profis
- Vordergrundverdeckungen beachten: Wenn ein Darsteller sehr nah an der Linse vorbeigeht und den Hintergrund kurzzeitig verdeckt, kann
reimagineden Hintergrund neu interpretieren. Bei starken Verdeckungen empfiehlt sichadhere_3oderflex_1. - Seitenverhältnis angleichen: Laden Sie das Video im gleichen Seitenverhältnis hoch (16:9, 9:16, 21:9), in dem das Projekt final ausgegeben wird, um Beschnitt an den Bildrändern zu vermeiden.
- Nahtloser Rücktransfer in die Timeline: Da die Kameradynamik 1:1 erhalten bleibt, kann das modifizierte Video direkt zurück in DaVinci Resolve oder Premiere Pro gelegt werden; Originalton, Sounddesign und 3D-Kameratracking-Pfade stimmen ohne Nachjustierung überein.