O que é referência para vídeo?

A referência para vídeo funciona deixando o modelo ler as suas imagens enquanto gera, sem colocar nenhuma delas no clipe. Cada imagem diz como algo é; o prompt diz o que acontece. O modelo então gera todos os quadros a partir de ruído, como em texto para vídeo, mantendo os rostos, as formas e as cores que viu.

Essa é a diferença em relação a imagem para vídeo, em que a sua imagem é o primeiro quadro e a câmera começa exatamente ali. Com referências, a abertura é escolha do modelo, então um close, um plano aberto e um contraplano podem mostrar a mesma pessoa. É o jeito mais comum de ter um personagem consistente ao longo dos planos de um filme.

Por dentro: para onde vão as imagens de referência

O modelo aberto VACE, que chama a tarefa de R2V, documenta um desenho. Cada imagem de referência é comprimida pelo mesmo codificador do vídeo e colocada antes dos quadros do clipe, marcada como quadro a manter. O modelo gera o clipe ao lado delas, e os quadros de referência são retirados depois da decodificação.

Como as referências ficam na mesma sequência que os quadros, a atenção que mantém o quadro 10 de acordo com o quadro 11 também mantém os dois de acordo com a sua imagem. Nada no método copia a pose ou o fundo da imagem: o modelo aprende com pares de treino quais partes manter.

O artigo do Phantom dá nome ao equilíbrio de que a tarefa depende: texto e imagens guiam juntos. Quando as imagens pesam demais, o conteúdo delas vaza, como a pose, o fundo ou a luz da foto; com vários elementos, o modelo pode confundi-los.

Como escrever um prompt para referência para vídeo

• Dê um nome a cada referência e cite-a onde ela age: “@mia tira @lamp da prateleira” diz ao modelo qual imagem faz qual papel.
• Descreva a ação, a câmera e a luz, não a aparência do elemento: a imagem já mostra isso, e uma segunda descrição pode entrar em conflito com ela.
• Dê a cada imagem uma única função. A foto de uma mulher segurando uma luminária são dois elementos numa imagem; corte-a, ou o modelo pode mantê-los juntos.
• Diga onde o plano acontece mesmo com uma referência de cenário, para que o modelo saiba que ele é o ambiente da cena, e não um fundo para colar.

Os três recebem imagens, e cada um as usa de um jeito. A questão é se a sua imagem deve ser um quadro do clipe ou a descrição de algo que está nele.

Qual devo usar? Se o clipe precisa começar num quadro que você já tem, use imagem para vídeo. Se você precisa do mesmo rosto ou produto em planos que começam cada um num lugar novo, use referências: a câmera pode começar em qualquer lugar.

Uma referência só é útil na medida do que mostra com clareza. O DreamBench pede que você marque cada imagem como um de quatro tipos, porque cada um diz algo diferente ao modelo:

Um produto conta como objeto. Um logo também, embora as letras dele sejam o detalhe que os modelos mantêm pior.

As referências guiam edições, além de planos novos. Nesta edição do Morph, as palavras citam pelo nome as fichas de personagem de três gatos, uma sala de estar e a planta dela, e o clipe mantém a dança enquanto os gatos e a sala mudam.

Original

Com o Morph

Troque o fundo por @livingroom, com a disposição de @floorplan, mas troque os 3 gatos por @yickshuncat, @oreo e @mango.

Isto é vídeo para vídeo com referências, e não referência para vídeo, já que o movimento vem de um clipe real. As referências fazem o mesmo trabalho nos dois: dizem quem e o que aparece, e nada mais.

Cada desenvolvedor de modelo dá à função um nome próprio, e cada um define o próprio limite de imagens. O que as páginas oficiais deles diziam quando as lemos:

• Curtas e séries em que os mesmos personagens aparecem em todas as cenas.
• Anúncios de produto: uma foto do produto, muitos planos dele em uso, com o rótulo mantido.
• Mascotes e personagens de marca que precisam ter a mesma aparência em todo post.
• Colocar um pet, um brinquedo ou um personagem desenhado em cenas novas.
• Manter um mesmo lugar, uma loja ou um apartamento, em todos os planos que acontecem ali.
• Storyboards em movimento, com o elenco já com a aparência que terá no filme.

• Copiar e colar: a pose, o fundo ou a luz da referência passam por inteiro, e todo plano fica parecido com a foto. Um fundo liso e luz uniforme ajudam.
• Elementos confundidos: duas pessoas de porte e cores parecidos podem trocar de rosto ou de roupa. Deixe-as diferentes e cite cada uma pelo nome onde ela age.
• Detalhes finos: textos pequenos num rótulo, as letras de um logo e tecidos estampados são mantidos pior do que formas e cores.
• Lados não vistos: uma referência de um rosto de frente deixa a parte de trás da cabeça por conta do modelo. Uma ficha com várias vistas dá a ele mais coisas para manter.
• Imagens demais: cada modelo só aceita certo número por clipe, e além disso algumas ficam de fora.
• Desvio ao longo do tempo: um plano longo ou movimentado ainda pode perder um detalhe, uma falha de consistência temporal.

Por que o meu personagem não se parece com a minha referência? Normalmente a imagem mostra coisas demais ao mesmo tempo: um rosto pequeno, luz dura, outras pessoas ou um fundo carregado. Use uma imagem nítida só do elemento, evite descrever de novo a aparência dele no prompt e deixe o plano curto.

Uma referência de uma pessoa real pode colocá-la numa cena em que ela nunca esteve. Use o seu próprio rosto, ou o de alguém que concordou com esse uso, e identifique um vídeo que possa ser confundido com uma gravação real.

• Os Termos do DreamBench exigem permissão informada antes que a imagem ou a voz de uma pessoa real seja representada com IA, e proíbem representações não autorizadas de pessoas reais, falsificação de identidade e falsos endossos.
• Toda imagem enviada é verificada antes que qualquer crédito seja usado: nudez, violência explícita e automutilação são recusadas, assim como uma pessoa fotorrealista que aparente ter menos de 18 anos.
• O Seedance não aceita rostos humanos reais. Uma referência que mostre um é recusada, e o DreamBench avisa e sugere outro modelo de vídeo para essas cenas.
• Os desenvolvedores de modelos têm regras próprias: a referência de sujeito da MiniMax, por exemplo, aceita uma única imagem do rosto de uma pessoa.

Todos os modelos de vídeo do DreamBench usam as suas referências. Em quatro deles, as imagens vão para o modelo de vídeo junto com cada clipe. Nos demais, um modelo de imagem primeiro desenha a partir delas a imagem de abertura do clipe, e o modelo de vídeo anima essa imagem:

Quando o modelo de um clipe aceita menos imagens do que a cena tem, os seus próprios envios têm prioridade. O Seedance 2.5 aceita mais; o Veo 3.1, menos, então uma cena com muitas pessoas e objetos cabe melhor no Seedance, se nenhuma delas for um rosto real.

No painel de criação, você descreve o filme e adiciona até 8 imagens de referência. Cada uma recebe um nome e uma etiqueta: personagem, criatura, cenário ou objeto. O nome vira o identificador dela, para que o briefing possa citá-la, como em “@mia abre a caixa e tira @lamp”; digitar @ no briefing lista os identificadores.

Depois, o DreamBench desenha uma ficha de referência para cada personagem, lugar e objeto de que o filme precisa. Uma ficha feita a partir da sua imagem é desenhada do elemento exato que ela mostra, e uma imagem cujo nome diz que ela é uma ficha é usada como está.

• Uma ficha de personagem: o rosto em close, o corpo inteiro de frente e de costas e uma vista de três quartos, o mesmo rosto em todos os quadros, sobre cinza liso.
• Uma ficha de objeto: o objeto de frente e em três quartos.
• Uma ficha de cenário: o lugar sozinho, sem pessoas nem objetos, para que nenhum deles seja copiado dela.

Cada clipe leva as fichas do que está nele, e o DreamBench escreve os prompts dos planos que as citam. Em Editar cenas, cada cena mostra as suas referências: remova uma, adicione outra das fichas do filme ou envie a sua, até o número que o modelo daquela cena aceita.

Você também pode começar por uma ferramenta. Depois que a ferramenta de foto de produto em vídeo cria um clipe, Continuar como história abre o painel de criação com a sua foto como referência @produto e um briefing que a cita.

As 4 primeiras imagens de referência estão incluídas no preço base de um vídeo, e cada uma além delas acrescenta o preço da ficha de que precisa. Uma ficha que você escolhe de um filme anterior não acrescenta nada, já que é usada como está. O painel de criação mostra o total em créditos antes de você gerar.