In der Videobearbeitung und bei visuellen Effekten (VFX) sind punktuelle Bildkorrekturen an der Tagesordnung: Ein unpassendes Requisit austauschen, störende Logos oder Objekte im Hintergrund entfernen, die Textur einer Kleidung variieren oder Bildfehler bereinigen. Traditionell erfordern solche Eingriffe zeitintensive Bild-für-Bild-Rotoskopie, Planar-Tracking und mehrschichtiges Compositing. Die generative Videoplattform Haiper bietet mit ihrem Modus Repaint your Video (Video-to-Video) und dem integrierten Maskierungswerkzeug Vary Region einen direkten, KI-gestützten Ansatz, mit dem Filmschaffende gezielte Bildbereiche isolieren und per Texteingabe neu generieren können.
Dieser Leitfaden beschreibt den praxisnahen Workflow für Editoren und VFX-Artists – von der Maskenerstellung und Prompt-Optimierung über technische Grenzen bis hin zur nahtlosen Einbindung in professionelle Postproduktions-Schnittsysteme.
Funktionsweise des Video-Repaintings in Haiper
Die Haiper-Plattform stellt vier primäre Erstellungsmodi bereit: Text zu Video (Create Video With Text), Bildanimation (Animate Your Image), Video-Repainting (Repaint Your Video) und Videoverlängerung (Extend Your Video).
Der Modus Repaint your Video basiert auf einer Video-to-Video-Diffusionsarchitektur. Anstatt ein Bild völlig neu zu erschaffen, dient das hochgeladene Ausgangsvideo als strukturelle und zeitliche Referenz. Über das Werkzeug Vary Region wird daraus ein selektiver Inpainting-Prozess:
- Isolierte Maskierung: Auf dem ersten Einzelbild des Videos wird der gewünschte Bereich mit einem Pinselwerkzeug markiert.
- Punktuelle Neuberechnung: Das KI-Modell berechnet im weiteren Zeitverlauf ausschließlich die Pixel innerhalb der Maske neu. Der umgebende Hintergrund, Kameraschwenks und Bewegungen außerhalb der Auswahl bleiben unverändert erhalten.
- Steuerung per Prompt: Die Füllung des maskierten Bereichs wird über einen beschreibenden Text gesteuert. So lassen sich Gegenstände austauschen, Materialeigenschaften modifizieren oder durch passende Hintergrundstrukturen Störobjekte unsichtbar machen (Clean-Plate-Verfahren).
Schritt-für-Schritt-Anleitung: Objekte ersetzen und Bildbereiche modifizieren
Schritt 1: Repaint-Arbeitsbereich öffnen
Der Zugang zum Repaint-Modus erfolgt über zwei Wege:
- Direkte Modusauswahl: In der Haiper Web App (
app.haiper.ai/creations) oder der iOS-App auf das +-Symbol tippen, um das Modusmenü zu öffnen, und Repaint your Video auswählen. Anschließend das Quellvideo im MP4- oder MOV-Format hochladen. - Aus dem Erstellungsverlauf: Wenn ein zuvor in Haiper erstellter Clip überarbeitet werden soll, genügt ein Klick auf das Edit / Repaint-Symbol oberhalb der Videovorschau, um den Clip direkt in den Repaint-Editor zu überführen.
Schritt 2: Maske mit "Vary Region" definieren
Nach dem Upload zeigt Haiper das erste Frame des Videos als interaktive Maskierungsfläche an:
- Maske hinzufügen (
+-Pinsel): Das+-Werkzeug aktivieren und über das zu ersetzende oder verändernde Objekt zeichnen. - Maske reduzieren (
--Pinsel): Mit dem--Werkzeug überstehende Kanten bereinigen, um die Grenzen präzise zu halten. - Korrektursteuerung: Mit Schaltflächen für Rückgängig (Undo), Wiederholen (Redo) und Zurücksetzen (Reset) lässt sich die Auswahl jederzeit anpassen.
VFX-Praxistipp: Maskenränder um 5 % bis 15 % erweitern (Padding)
Zeichnen Sie die Maske niemals haarscharf entlang der Silhouette des Objekts. Es empfiehlt sich, einen Puffer von 5 % bis 15 % über den Rand hinaus zu malen. Dieser zusätzliche Umgebungsbereich liefert dem Diffusionsmodell entscheidende Kontextinformationen – wie Lichteinfall, Kontaktkanten und umgebende Bodentexturen –, wodurch sich die Neuberechnung nahtlos mit dem Originalmaterial verbindet.
Schritt 3: Text-Prompts zielgerichtet formulieren
Die Gestaltung des gewählten Bereichs hängt maßgeblich von der Formulierung des Prompts ab. Je nach Einsatzzweck gelten folgende Grundsätze:
1. Objektaustausch (Object Replacement)
Beschreiben Sie das neue Objekt, seine Beschaffenheit und das Zusammenspiel mit dem vorhandenen Umgebungslicht detailliert:
- Beispiel: Statt nur
"a cup"(eine Tasse) einzugeben, empfiehlt sich"an antique brass goblet resting on the rustic wooden table, soft warm ambient lighting, highly detailed surface texture"(ein antiker Messingkelch auf dem rustikalen Holztisch, sanftes warmes Umgebungslicht, hochdetaillierte Oberflächenstruktur). - Kontextverankerung: Die Nennung der Auflagefläche (Holztisch) und der Lichtstimmung unterstützt das Modell bei der korrekten Perspektiv- und Schattenbildung.
2. Modifikation von Materialien und Stil (Style & Element Modification)
Die Form des Objekts bleibt bestehen, während Farbe oder Beschaffenheit verändert werden:
- Beispiel: Nach Auswahl der Jacke eines Darstellers:
"a weathered dark-brown leather motorcycle jacket with metallic zipper accents, natural daylight shadows"(eine abgetragene dunkelbraune Leder-Motorradjacke mit metallischen Reißverschluss-Akzenten, natürliche Tageslichtschatten).
3. Objekte entfernen (Clean Plate Inpainting)
Wenn Schilder oder störende Requisiten eliminiert werden sollen, vermeiden Sie Verneinungen wie "remove the sign" (Schild entfernen). Beschreiben Sie stattdessen den gewünschten Hintergrund:
- Beispiel: Markierung eines störenden Wandelements:
"weathered red brick wall, matching mortar lines, natural outdoor daylight, seamless texture"(verwitterte rote Backsteinwand, passende Mörtelfugen, natürliches Tageslicht, nahtlose Textur).
Schritt 4: Einstellungen prüfen und Generierung starten
Im Einstellungsmenü neben dem Prompt-Eingabefeld werden die Parameter überprüft:
- Videodauer (Duration): Haiper unterstützt nativ Clips von 2 und 4 Sekunden Länge. Für Repaint-Korrekturen empfiehlt sich das Arbeiten in 2- bis 4-Sekunden-Einheiten, um Bewegungsdrifts gering zu halten.
- Zufallswert (Seed): Wenn eine Generierung bezüglich Kamerabewegung und Beleuchtung überzeugt, aber Feinheiten am Objekt optimiert werden sollen, den Seed-Wert fixieren und den Prompt punktuell anpassen.
- Seitenverhältnis (Aspect Ratio): Der Repaint-Modus übernimmt automatisch das Seitenverhältnis des Ausgangsmaterials (Standardformate wie 16:9, 9:16, 1:1, 4:3, 21:9).
- Berechnung ausführen: Mit einem Klick auf Generate wird die Renderaufgabe an die Cloud-Warteschlange übergeben.
Technische Restriktionen und Grenzen in der Filmproduktion
Obwohl das Vary-Region-Tool manuelle Maskierungszeiten drastisch verkürzt, müssen professionelle Anwender technologische Einschränkungen einkalkulieren:
1. Einzelbildmaskierung vs. zeitliche Konsistenz (Temporal Coherence)
Die Maske wird ausschließlich auf dem ersten Frame gesetzt. Die Weiterverfolgung über die Zeitachse erfolgt über interne Aufmerksamkeitsmechanismen des Modells.
- Optimale Bedingungen: Statische Stativaufnahmen, ruhige Kamerafahrten und mäßige Objektbewegungen liefern sehr stabile Resultate.
- Schwierige Bedingungen: Schnelle Reißschwenks (Whip Pans), abrupte Zooms oder Verdeckungen durch den Vordergrund können zu Flackern an den Kanten (Edge Boiling) oder Formverzerrungen führen.
2. Auflösung und Master-Qualität
Haiper Video 2.x berechnet Clips nativ in 540p und 720p, ergänzt durch eine 1080p-Optimierungsoption (Enhance). Für Produktionen in 4K empfiehlt es sich, die Haiper-Ausgaben als generative Rohmaterial-Plates zu behandeln, die in der Postproduktion skaliert und partiell über das Original gelegt werden.
3. Credit-Verbrauch und Lizenzierung
- Gemäß der offiziellen Preisübersicht belaufen sich die Kosten für Video to video unter Haiper Video 2.x auf 8 Credits pro Sekunde bei 720p. Bei Haiper Video 1.5 liegt der Basiswert bei etwa 5 Credits pro Sekunde.
- Kostenlose Konten bieten begrenzte tägliche Kontingente und versehen Ausgaben mit einem Wasserzeichen.
- Kommerzielle Produktionen erfordern eine kostenpflichtige Haiper Membership, um wasserzeichenfreie Exporte, kommerzielle Nutzungsrechte und höhere parallele Rechenkapazitäten freizuschalten.
Integration in Postproduktions- und Compositing-Pipelines
Für optimale Ergebnisse in Programmen wie DaVinci Resolve, Adobe Premiere Pro oder After Effects bietet sich folgender Workflow an:
- Gezielte Subclips exportieren: Nur den zu verändernden 2- bis 4-Sekunden-Abschnitt aus der Timeline herausrechnen und bei Haiper hochladen (spart Credits und verringert Trackingfehler).
- Ebenenbasierte Überlagerung: Den berechneten Haiper-Clip auf einer Videospur direkt über dem Originalmaterial framegenau platzieren.
- Weiche Maske (Garbage Matte): Auf der oberen Ebene eine Maske mit weichen Kanten (Feather) um den modifizierten Bereich legen. Da die Maske bei der Generierung großzügig angelegt wurde, kaschiert die weiche Kante eventuelle minimale Farbtonabweichungen im Hintergrund.
- Korn- und Rauschanpassung (Grain Matching): KI-generierte Bereiche wirken oft unnatürlich glatt. Ein Filmkorn- oder Sensorrauschen-Plugin anwenden, um die Textur der Kameraaufnahme exakt nachzubilden.
- Farbkorrektur und Grading: Das integrierte Element final graden (Schwarzwert, Kontrast, Lichter), damit es vollkommen mit der Lichtstimmung der Originalszene verschmilzt.