O que é consistência de personagem no vídeo com IA?

Um modelo de vídeo cria um filme um plano de cada vez, e nada passa do plano 4 para o plano 5 a menos que você passe: o modelo recomeça do ruído e inventa tudo o que o prompt deixa em aberto. Escreva “uma mulher de cabelo loiro curto” duas vezes e você terá duas mulheres diferentes.

Então a consistência vem do que cada plano recebe. As mesmas palavras ajudam. Uma imagem ajuda mais, porque é mais fácil mostrar um rosto do que descrevê-lo: os modelos que aceitam uma, o modo chamado referência para vídeo, mantêm o rosto, o cabelo e as cores que conseguem ver. Uma ficha de personagem, com o personagem de frente, de lado e de costas, ajuda ainda mais, porque também mostra como ele é virado.

Começar um plano a partir de uma imagem do personagem, como faz imagem para vídeo, também funciona: o primeiro quadro fica fixo, e quanto mais o plano se afasta dele, mais coisas são inventadas de novo.

Por dentro: referências, embeddings de identidade e seeds

Uma imagem de referência chega ao modelo pela atenção, o mesmo mecanismo que o texto usa. O IP-Adapter acrescenta uma imagem como prompt por meio de camadas de atenção cruzada próprias, separadas das do texto, num adaptador de cerca de 22 milhões de parâmetros, sem alterar o próprio modelo.

Os métodos de identidade vão além e codificam o próprio rosto. O InstantID trabalha a partir de uma única foto de um rosto: uma rede separada guia a geração com os traços e os pontos de referência desse rosto, para que a pessoa continue reconhecível enquanto o estilo e a pose mudam. Esse rosto codificado é um embedding de identidade.

O caminho mais antigo é ensinar o personagem ao modelo. O DreamBooth faz o ajuste fino de um modelo com algumas imagens de um elemento até associá-lo a uma palavra única, e depois gera esse elemento em cenas, poses, vistas e luzes novas. O LoRA, publicado primeiro para modelos de linguagem, deixa esse ajuste fino leve: os pesos do próprio modelo ficam congelados e só pequenas matrizes acrescentadas são treinadas. Os dois precisam de um modelo cujos pesos você possa treinar.

Outra ideia é gerar as imagens juntas. O StoryDiffusion compartilha a atenção entre um lote de imagens, sem treino, para que um elemento seja coerente ao longo de uma série; os modelos de vídeo com vários planos mantêm um elenco entre os próprios cortes de forma parecida, mas só dentro de uma geração.

Por que a seed não mantém o personagem? Uma seed fixa o ruído inicial, então a mesma seed com o mesmo prompt, a mesma duração, o mesmo formato e o mesmo modelo repete o mesmo clipe. Um plano novo muda pelo menos um desses itens, o mesmo ruído é lido de um jeito novo, e o último rosto não fica guardado em lugar nenhum.

As duas acabam num rosto que muda, então é fácil confundi-las. A consistência temporal acontece dentro de um clipe: o quadro 90 concorda com o quadro 1? A consistência de personagem acontece entre clipes: a mulher na cozinha no plano 2 é a mesma mulher no trem no plano 9? Um clipe estável ainda pode mostrar a pessoa errada.

O primeiro e último quadro pode levar o último quadro de um plano para o primeiro quadro do seguinte: a emenda fica suave, mas o plano 12 continua sem saber do plano 3.

Cada desenvolvedor de modelo tem a sua forma de fazer isso. O guia da Vertex AI do Google aceita até três imagens de uma única pessoa, personagem ou produto no Veo 3.1 e diz que o Veo preserva a aparência do elemento no vídeo; no modelo padrão, um clipe feito com imagens de elemento tem 8 segundos.

A Kling cria personagens como elementos. O guia da Element Library pede de duas a quatro imagens por elemento, uma principal e até três de outros ângulos, recomenda uma imagem principal de frente e diz que o Kling 3.0 vincula até três elementos a um quadro inicial.

O Seedance aceita muitas referências de uma vez, com uma regra que importa aqui: o tutorial da série Seedance 2.0 da BytePlus diz que esses modelos não aceitam imagens ou vídeos de referência que contenham diretamente rostos humanos reais e oferece, em vez disso, personagens digitais próprios e materiais autorizados de pessoas reais.

Um modelo copia o que uma referência mostra, queira você ou não, então uma boa ficha é simples de propósito:

• O mesmo rosto e o mesmo cabelo em todas as vistas, de frente, de lado e de costas, com o mesmo tom de pele em cada uma.
• Um personagem por ficha: um segundo rosto é uma segunda identidade para o modelo pegar emprestada.
• Um fundo liso, sem sombra projetada nem dominante de cor, que apareceriam em todos os planos.
• Sem textos, rótulos ou números, que um modelo pode escrever dentro do plano.
• Uma vista de frente nítida como imagem principal, como a Kling recomenda, com a roupa inteira visível.
• Lugares em fichas próprias, sem personagens.

Por que o meu personagem muda no meio de um plano? Isso é desvio dentro do clipe, uma falha de consistência temporal: um plano mais curto, menos movimento e um corte antes de uma virada grande ajudam mais do que uma nova referência.

• Crie o personagem uma vez, como ficha, antes de qualquer plano.
• Dê essa ficha a todos os planos em que ele aparece, ou comece cada plano a partir de uma imagem feita com ela.
• Escreva os poucos detalhes que o definem palavra por palavra em todos os prompts.
• Use um só modelo no filme inteiro quando puder: cada um lê uma referência do seu jeito.
• Compare imagens estáticas de planos diferentes lado a lado: uma mudança que passa despercebida em movimento fica evidente numa imagem parada.

A imagem de referência de uma pessoa real é a imagem dela. Use a sua, ou a de alguém que deu permissão, e diga que o vídeo foi feito com IA quando ele puder passar por uma gravação real. Alguns modelos, entre eles o Seedance 2.0, recusam rostos reais de cara.

No DreamBench, as imagens enviadas são verificadas antes que qualquer crédito seja usado, e uma imagem que aparente mostrar uma pessoa real com menos de 18 anos é recusada: os Termos não permitem envios nem representações de pessoas reais com menos de 18 anos. No Morph, um vídeo com pessoas reais só é feito depois que você marca que é você, ou pessoas que deram permissão.

Quando você descreve um filme, o DreamBench escreve o roteiro e depois desenha o elenco antes de renderizar qualquer plano: cada personagem, lugar e objeto uma vez, como ficha, igual em todos os planos. Adicione uma imagem em “Quem aparece?”, marcada como personagem, criatura, cenário ou objeto, e essa ficha é desenhada a partir da sua imagem, pegando só o elemento, e não a luz ou o fundo dela; uma ficha que você já fez antes é usada como está.

Antes de desenhar uma ficha, cada personagem e objeto recebe uma trava de identidade: o rosto, o perfil, o corpo e o tamanho, escritos para o elenco inteiro de uma vez, para que dois personagens não tenham o mesmo rosto. Uma linha curta de identificadores tirada dela é escrita palavra por palavra em todos os planos que mostram o personagem, com a voz do personagem nos modelos que fazem som e o número de pessoas em cena.

A forma como uma ficha chega a um plano depende do modelo. No Seedance 2.5, no Seedance 2.0, no Veo 3.1 e no Vidu Q2, as fichas vão com cada plano como imagens de referência. Nos outros modelos, entre eles o Veo 3.1 Fast e Lite e o Kling 3.0, o DreamBench primeiro desenha uma imagem de abertura a partir das fichas do plano, e o plano começa dessa imagem.

Uma mudança de que a história precisa, como um personagem encharcado pela chuva, é desenhada como uma variante na ficha dele. Se você escolher revisar, conhece o elenco antes de qualquer plano ser gerado e pode desenhar qualquer ficha de novo, ou a partir de uma imagem sua. Um plano que ainda não ficou bom é refeito com uma observação dizendo o que corrigir.

Original

Com o Morph

Troque o fundo por @livingroom, com a disposição de @floorplan, mas troque os 3 gatos por @yickshuncat, @oreo e @mango.