O que é consistência temporal em vídeo com IA?

Uma câmera registra um único mundo, então seus quadros concordam por natureza. Um modelo gera cada quadro, e nada na física do processo obriga o quadro 90 a concordar com o quadro 1. A consistência precisa ser aprendida.

Os modelos de vídeo atuais conseguem boa parte dela gerando todos os quadros juntos: a atenção deixa cada parte de cada quadro olhar para todas as outras, no espaço e no tempo. Métodos mais antigos, que geravam ou editavam um quadro por vez, cintilavam muito justamente por isso. Quanto mais longo o clipe, mais coisa precisa se manter coerente, e esse é um dos motivos de a maioria dos modelos criar clipes de segundos, não de minutos.

Modelos que estendem um clipe pedaço por pedaço, ou o geram quadro após quadro, só veem parte do que veio antes. O desvio se acumula a cada emenda.

Por dentro: um clipe, uma visão compartilhada

O relatório do modelo aberto Wan descreve o design mais comum. Um codificador de vídeo comprime o clipe 4 vezes no tempo e 8 vezes em cada direção do espaço, e um transformer de difusão trabalha no clipe comprimido inteiro de uma vez, então cada quadro é gerado com todos os outros à vista.

Pesquisadores medem o resultado. Benchmarks como o VBench dividem a qualidade do vídeo em notas separadas, entre elas a cintilação temporal e a manutenção da identidade de um tema.

A descrição mais difícil para a consistência muda tudo ao redor de um elemento principal e pede que ele continue exatamente igual. Esta, feita no DreamBench com o Seedance 2.5, mantém uma bailarina em uma única órbita sem cortes de 15 segundos enquanto o palco vira uma floresta e depois uma piscina.

• Confira o elemento principal nos momentos de mudança: as passagens em que uma cena vira a seguinte.
• Pause nas mãos e na borda do tecido: é nos detalhes finos que se movem rápido que o desvio aparece primeiro.
• Compare o primeiro e o último quadro lado a lado: um desvio lento é invisível em movimento e evidente em imagens paradas.

• Dê uma imagem ao modelo: a imagem para vídeo fixa o primeiro quadro, então há menos para inventar.
• Use imagens de referência de um personagem ou produto em todos os planos em que ele aparece.
• Peça menos movimento: movimentos de câmera lentos e ações simples se mantêm melhor do que chicotes de câmera e lutas.
• Mantenha os clipes curtos e corte entre eles, como os filmes fazem, em vez de uma única tomada longa.
• Descreva o mesmo personagem com as mesmas palavras em todos os prompts.
• Evite estampas carregadas, textos pequenos e multidões sempre que puder.

Quando você edita um vídeo real com IA, as imagens originais já são consistentes; o risco é a mudança não ser. Um rosto trocado que escorrega, um objeto removido que reaparece como um fantasma ou uma mudança de estilo que ferve de um quadro para outro são falhas de consistência temporal na edição.

Por que o meu vídeo com estilo mudado ferve ou tremula? Uma mudança de estilo mantém os contornos, a profundidade e o movimento de cada quadro e repinta a superfície deles, e a superfície é o que é regenerado de forma um pouco diferente a cada quadro: grão, pinceladas e padrões finos nadam enquanto as formas se mantêm. Peça um estilo mais chapado, com menos textura, mantenha o clipe curto e compare o resultado com o original antes de usá-lo; as imagens originais eram estáveis, então qualquer tremulação é da edição. Um objeto removido que reaparece como um fantasma é a mesma falha em uma região preenchida.

O DreamBench escreve cada plano de um filme com a mesma descrição de cada personagem, e as imagens que você adiciona são enviadas como referência em todos os planos que precisam delas. No Morph, o movimento e o ritmo do clipe original são mantidos, então a edição acompanha as imagens.