A ferramenta Modify Video do Luma Dream Machine permite transformar o estilo visual de filmagens existentes utilizando o vídeo original como uma estrutura geométrica espaço-temporal. Essa funcionalidade substitui texturas, iluminação e cenários enquanto trava com precisão a trajetória da câmera e o ritmo de atuação dos personagens. Diferente da geração tradicional de texto para vídeo — que recalcula trajetórias de câmera aleatórias a cada tentativa —, o Modify Video utiliza difusão de vídeo para vídeo (video-to-video) guiada pelo fluxo óptico de cada quadro e por níveis graduados de aderência.
Para artistas de efeitos visuais (VFX), editores de comerciais e diretores de fotografia, essa ferramenta elimina um problema frequente de produção: refazer diárias de filmagem com gruas e trilhos é oneroso, enquanto ferramentas generativas sem controle desmontam a coreografia original. Com o Modify Video, travellings (dolly), planos de drone, panorâmicas e tomadas com câmera na mão mantêm sua dinâmica inalterada enquanto toda a estética da cena é reinventada.
Por que o texto para vídeo oscila e como o Modify Video trava o movimento
Em fluxos convencionais de texto para vídeo, o modelo de difusão realiza amostragens em um espaço latente sem vínculos com a geometria física da cena. Mesmo inserindo no prompt descrições como "dolly lento para frente" ou "giro orbital à esquerda", o modelo gera uma interpretação arbitrária, alterando velocidade, distância focal e a cadência dos atores.
O Modify Video supera essa limitação a partir de três mecanismos fundamentais:
- Condicionamento de movimento contínuo e fluxo óptico: O vídeo enviado serve como base temporal de referência. O modelo avalia os vetores de velocidade e o paralaxe de profundidade entre os quadros, forçando a relação entre primeiro plano e fundo a acompanhar a movimentação real da lente original.
- Ancoragem visual pelo primeiro quadro (
first_frame): Permite fornecer uma imagem estática do primeiro quadro já com o estilo desejado aplicado. Ao fixar o visual e a iluminação no tempo zero, os quadros subsequentes se difundem de maneira contínua pela trajetória de câmera estabelecida. - Modos de aderência calibrados (Adhere, Flex e Reimagine): O sistema disponibiliza 9 níveis de intensidade para que o criador equilibre com precisão a liberdade estilística e a fidelidade aos movimentos originais.
Modos de aderência: equilibrando liberdade artística e geometria da câmera
A escolha do modo de aderência correto é o fator decisivo para evitar distorções no movimento de câmera.
| Família de modo | Parâmetros na API | Comportamento estrutural | Casos de uso recomendados |
|---|---|---|---|
| Adhere | adhere_1, adhere_2, adhere_3 | Restrição geométrica máxima; trava bordas e trajetória da câmera; altera apenas texturas de superfície, cores e iluminação. | Conversão de dia para noite; reiluminação (relighting); gradação de cor comercial; mudanças sutis de acabamento (ex.: tecido para efeito metálico). |
| Flex | flex_1, flex_2, flex_3 | Equilíbrio flexível; preserva atuação, sincronia labial e velocidade da câmera; autoriza substituição de figurino, objetos e cenários. | Converter ruas urbanas em becos cyberpunk; transformar atores reais em animações 3D; substituição de fundos sem necessidade de rotoscopia manual. |
| Reimagine | reimagine_1, reimagine_2, reimagine_3 | Máxima liberdade criativa; altera profundamente anatomia e arquitetura da cena, mantendo a direção da câmera e a cadência temporal. | Vídeos conceituais de ficção científica ou fantasia; transformar pessoas em robôs ou estátuas; converter tomadas internas em naves espaciais. |
Fluxo prático passo a passo no Dream Machine
Tanto na interface web do Dream Machine quanto via integração direta por API, o processo de produção segue cinco etapas claras:
Passo 1: Preparar e cortar o vídeo de origem
- Utilize tomadas contínuas sem cortes bruscos ou transições.
- Dê preferência a planos com movimentos de câmera evidentes (dolly, trilho, grua, panorâmica, órbita). Evite ruído excessivo de baixa luminosidade ou motion blur exagerado.
- Atente-se aos limites técnicos: até 10 segundos no modelo
ray-2, até 15 segundos noray-flash-2, com arquivo de até 100 MB.
Passo 2: Configurar a solicitação de geração
No Dream Machine, abra um novo quadro, acesse a aba Modify e faça o upload do arquivo de vídeo.
Em fluxos automatizados via API, estruture o payload da requisição modify_video:
{
"generation_type": "modify_video",
"media": {
"url": "https://assets.yourstudio.com/raw_footage/dolly_shot.mp4"
},
"first_frame": {
"url": "https://assets.yourstudio.com/guides/dolly_shot_stylized_frame0.png"
},
"mode": "flex_2",
"model": "ray-2",
"prompt": "A futuristic cyborg operative walking through a rain-slicked neo-Tokyo alley, neon reflections on wet asphalt, volumetric mist, cinematic 35mm lighting"
}
Passo 3: Utilizar a imagem do primeiro quadro como âncora
Embora o parâmetro first_frame seja opcional, sua aplicação em projetos profissionais previne oscilações visuais nos primeiros instantes:
- Exporte o quadro 0 diretamente da timeline do seu software de edição.
- Trate a imagem no Photoshop ou utilize um gerador de imagens para aplicar o estilo desejado.
- Insira o link dessa imagem em
first_frame.url. A difusão iniciará sobre uma base consolidada, evitando inconsistências cromáticas.
Passo 4: Elaborar prompts descritivos e objetivos
O prompt para Modify Video deve priorizar os elementos que serão substituídos:
- Foque na substituição: Declare expressamente o que entra e o que sai (ex.: "substituir terno por armadura de combate; converter corredor de escritório em abrigo de concreto").
- Não inclua comandos de câmera: Não escreva "panorâmica para a esquerda" ou "câmera lenta para frente". As informações de movimentação já estão presentes no vídeo original; comandos textuais concorrentes podem gerar artefatos.
- Detalhe o comportamento da luz: Descreva reflexos no chão molhado, flares na lente ou iluminação volumétrica reagindo à movimentação da câmera.
Passo 5: Avaliar a prévia e renderizar
Verifique o resultado preliminar. Se a mudança de estilo for tímida, aumente a intensidade de flex_1 para flex_3. Se houver tremor nas bordas do primeiro plano, recue para adhere_2 ou adhere_3. Após validar, processe o arquivo na resolução final.
Seleção de modelos e planejamento de custos
A Luma oferece duas opções de processamento:
- ray-2 ($0,01582 por milhão de pixels): Modelo topo de linha voltado para entrega final. Apresenta excelente coerência temporal, reprodução apurada de microtexturas e separação nítida de planos de profundidade (um clipe de 5 segundos em 720p 16:9 consome cerca de $1,75).
- ray-flash-2 ($0,00544 por milhão de pixels): Motor rápido e econômico (o mesmo clipe de 5 segundos em 720p 16:9 consome cerca de $0,60). É a melhor escolha para testes de estilo, validação de prompts, storyboards animados e conteúdos digitais rápidos.
Recomendações práticas para artistas de pós-produção
- Atenção a oclusões severas: Quando um ator passa muito próximo da lente e encobre o cenário por uma fração de segundo, os modos
reimaginepodem recriar um fundo diferente ao desobstruir a visão. Em planos com oclusões fortes, prefiraadhere_3ouflex_1. - Compatibilidade de proporção de tela: Envie o arquivo de origem exatamente na proporção desejada para a entrega (16:9, 9:16, 21:9) para evitar cortes automáticos nas bordas.
- Integração direta na pós-produção: Como a movimentação de câmera é preservada na proporção de 1:1, a cena modificada pode ser inserida diretamente na timeline original do DaVinci Resolve ou Premiere Pro, reaproveitando trilhas de áudio, efeitos sonoros e tracks 3D de câmera sem retrabalho.