La herramienta Modify Video de Luma Dream Machine permite transformar el estilo visual de grabaciones existentes utilizando el metraje original como una estructura geométrica espaciotemporal. Esta tecnología reemplaza texturas, iluminación y escenarios mientras bloquea con precisión la trayectoria de la cámara y el ritmo cinético de los sujetos. A diferencia de los modelos convencionales de texto a video —que generan trayectorias de cámara aleatorias en cada intento—, Modify Video aplica una difusión de video a video condicionada por el flujo óptico de cada fotograma y niveles graduados de adherencia.
Para artistas de efectos visuales (VFX), editores comerciales y cineastas, esta función resuelve un problema crítico: volver a rodar tomas con grúas o plataformas de cámara es sumamente costoso, mientras que la generación generativa sin control descompone la cinematografía original. Con Modify Video, los travellings (dolly), giros en dron, paneos y movimientos de cámara en mano conservan su dinámica intacta mientras la estética evoluciona por completo.
Por qué el texto a video se desvía y cómo Modify Video fija el movimiento
En los flujos tradicionales de texto a video, el modelo de difusión toma muestras en un espacio latente desprovisto de referencias físicas concretas. Aunque se incluya en el prompt "paneo lento a la izquierda" o "travelling suave hacia adelante", la velocidad, curvatura y distancia focal cambian en cada resultado, desincronizando la actuación del sujeto.
Modify Video supera esta limitación mediante tres mecanismos:
- Condicionamiento de movimiento continuo y flujo óptico: El video cargado actúa como un marco temporal previo. El motor analiza la velocidad entre fotogramas y el paralelaje de profundidad, obligando a que la relación entre primer plano y fondo respete el desplazamiento físico de la lente original.
- Anclaje visual con el primer fotograma (
first_frame): Permite introducir una imagen fija del fotograma inicial previamente estilizada. Al definir el acabado, la paleta de color y la iluminación en el tiempo cero, los fotogramas subsiguientes se difunden de forma coherente a lo largo de la trayectoria de cámara existente. - Modos de adherencia calibrados (Adhere, Flex y Reimagine): Ofrece 9 niveles de intensidad estructurados en tres categorías para calibrar el equilibrio entre libertad estilística y fidelidad geométrica.
Clasificación de modos de adherencia: equilibrio entre estilo y geometría de cámara
Seleccionar el modo correcto garantiza que la cinemática de la cámara no sufra deformaciones indeseadas.
| Familia de modo | Valores en API | Comportamiento estructural | Casos de uso recomendados |
|---|---|---|---|
| Adhere | adhere_1, adhere_2, adhere_3 | Restricción geométrica máxima; bloquea contornos y trayectoria de cámara; altera únicamente texturas, color e iluminación. | Conversión de día a noche; reiluminación (relighting); gradación de color comercial; cambios ligeros de material (p. ej., tela a metal). |
| Flex | flex_1, flex_2, flex_3 | Equilibrio flexible; conserva la coreografía, sincronización labial y velocidad de cámara; permite modificar vestuario, accesorios y fondo. | Transformar calles modernas en avenidas cyberpunk; convertir actores reales en animación 3D; sustitución de fondos sin rotoscopia manual. |
| Reimagine | reimagine_1, reimagine_2, reimagine_3 | Máxima libertad creativa; modifica radicalmente la anatomía y el mundo visual, pero respeta la dirección de la cámara y el ritmo temporal. | Piezas conceptuales de ciencia ficción o fantasía; transformar personas en robots o estatuas; convertir interiores en estaciones espaciales. |
Flujo de trabajo paso a paso en Dream Machine
Tanto en la interfaz web de Dream Machine como a través de su API, el proceso de producción consta de cinco pasos:
Paso 1: Preparar y recortar el metraje original
- Emplee clips continuos sin cortes ni transiciones internas.
- Seleccione planos con desplazamientos de cámara nítidos (dolly, pedestal, seguimiento, paneo u órbita). Evite ruido térmico excesivo en bajas luces o desenfoque de movimiento extremo.
- Respete los límites técnicos: hasta 10 segundos en el modelo
ray-2, hasta 15 segundos enray-flash-2, y un tamaño máximo de archivo de 100 MB.
Paso 2: Configurar la solicitud de generación
En el panel de Dream Machine, abra un nuevo lienzo, seleccione la pestaña Modify y suba el archivo de video.
En entornos de desarrollo mediante la API, configure el cuerpo de la petición modify_video:
{
"generation_type": "modify_video",
"media": {
"url": "https://assets.yourstudio.com/raw_footage/dolly_shot.mp4"
},
"first_frame": {
"url": "https://assets.yourstudio.com/guides/dolly_shot_stylized_frame0.png"
},
"mode": "flex_2",
"model": "ray-2",
"prompt": "A futuristic cyborg operative walking through a rain-slicked neo-Tokyo alley, neon reflections on wet asphalt, volumetric mist, cinematic 35mm lighting"
}
Paso 3: Fijar el estilo mediante anclaje de primer fotograma
Aunque el parámetro first_frame es opcional, su incorporación en proyectos profesionales es clave para evitar saltos tonales:
- Exporte el fotograma cero desde su línea de tiempo en el software de edición.
- Aplique retoque de estilo en Photoshop o mediante un generador de imágenes de alta fidelidad.
- Ingrese la URL de la imagen en
first_frame.url. Esto asegura que el proceso de difusión comience con un objetivo de estilo claro.
Paso 4: Redactar prompts estructurados y directos
Los prompts para Modify Video deben centrarse en qué elementos reemplazar y no en describir la cámara:
- Especifique la sustitución: Escriba "cambiar traje de negocios por armadura táctica; sustituir pasillo por búnker de hormigón".
- No agregue instrucciones de cámara: Evite frases como "paneo a la izquierda" o "travelling cenital". La cámara ya está codificada en el archivo original; añadir términos textuales de cámara puede provocar anomalías de interpolación.
- Detalle la interacción lumínica: Describa cómo interactúa la luz del nuevo entorno con el movimiento de la cámara (por ejemplo, destellos en la lente provocados por luces de neón o reflejos sobre charcos de agua en movimiento).
Paso 5: Evaluar la previsualización y exportar
Revise el renderizado preliminar. Si el cambio visual es insuficiente, aumente la intensidad de flex_1 a flex_3. Si los bordes del primer plano presentan inestabilidad, reduzca el modo a adhere_2 o adhere_3. Una vez verificado el resultado, exporte a la resolución final.
Comparativa de modelos y estimación de costos
Luma ofrece dos opciones de motor según las necesidades del proyecto:
- ray-2 ($0,01582 por millón de píxeles): Modelo insignia de producción. Proporciona una consistencia temporal sobresaliente, fidelidad en texturas complejas y separación de planos de profundidad. Es la opción prioritaria para cine y publicidad (un clip de 5 segundos a 720p 16:9 cuesta aproximadamente $1,75).
- ray-flash-2 ($0,00544 por millón de píxeles): Motor optimizado y rápido. Su costo accesible (aproximadamente $0,60 para 5 segundos a 720p 16:9) lo hace idóneo para exploración preliminar de estilos, maquetas de previsualización y contenido para redes sociales.
Consideraciones prácticas para artistas de posproducción
- Gestión de oclusiones pronunciadas: Cuando un sujeto cruza muy cerca de la lente y tapa momentáneamente el fondo, los modos
reimaginepueden generar un fondo inconsistente al reaparecer. En tomas con oclusiones severas, utiliceadhere_3oflex_1. - Coincidencia de relación de aspecto: Asegúrese de que el video subido tenga la misma proporción que el formato de entrega final (16:9, 9:16, 21:9), previniendo recortes accidentales en los márgenes.
- Integración inmediata en el montaje: Dado que el movimiento de cámara se mantiene 1:1, el clip generado puede montarse directamente en la línea de tiempo original de Premiere Pro o DaVinci Resolve, conservando pistas de audio, efectos de sonido y tracking tridimensional sin ajustes adicionales.