O que é texto para vídeo?

Texto para vídeo funciona treinando um modelo com um número enorme de clipes acompanhados de descrições, para que ele aprenda quais palavras combinam com quais imagens e movimentos. Para gerar, ele codifica o seu prompt, parte de um ruído aleatório do tamanho de um clipe inteiro e remove o ruído passo a passo até sobrarem quadros que correspondam às palavras.

Como só as palavras o limitam, um modelo de texto para vídeo tem mais liberdade do que qualquer outro modo, e isso é ao mesmo tempo sua força e sua fraqueza: duas execuções do mesmo prompt geram dois clipes diferentes. Veja geração de vídeo com IA para conhecer o fluxo em detalhes.

Algumas ferramentas vendidas como texto para vídeo não geram filmagem. Elas pegam um roteiro, escolhem clipes de banco de imagens que combinem com ele e adicionam uma voz de IA e legendas. Texto para fala é ainda mais restrito: transforma um roteiro em voz, sem imagem nenhuma. Um modelo de texto para vídeo funciona de outro jeito: ele gera cada quadro, então nada do que você vê foi filmado.

Se você já tem uma imagem de como o clipe deve ficar, comece por ela: imagem para vídeo mantém a sua imagem como primeiro quadro e gera o movimento.

Um gerador de prompt é outra coisa ainda: ele escreve o prompt e não gera vídeo nenhum. O gerador de prompts de vídeo com IA transforma algumas escolhas em uma descrição de plano na ordem em que um modelo a lê, com predefinições para Veo 3.1, Seedance 2.5 e Kling 3.0; o clipe continua sendo feito por um modelo de vídeo.

Os modelos de vídeo leem um prompt como a descrição de um plano. Quanto mais clara cada parte, menos o modelo adivinha. Uma ordem útil:

• Um plano por prompt: o modelo cria um plano contínuo, então descreva uma posição de câmera e uma ação.
• Descreva o que você quer ver, não o que não quer: “uma rua vazia” funciona melhor do que “sem pessoas”.
• Diga qual é o movimento de câmera, senão o modelo escolhe um.
• Mantenha o texto na tela curto, ou deixe-o de fora e adicione depois.

Este clipe foi feito no DreamBench a partir da descrição abaixo dele, no Veo 3.1 em 1080p com som. É uma boa descrição porque cada frase dá ao modelo algo para mostrar, e nada que ele não consiga.

As palavras entre aspas são a descrição como foi escrita, em inglês: um prompt funciona em qualquer idioma que o modelo entenda.

A maioria dos prompts fracos é curta, não errada. Cada etapa abaixo acrescenta um tipo de informação, e cada uma elimina uma escolha que o modelo faria ao acaso.

Uma descrição pode pedir um único plano sem cortes, um movimento lento de câmera e uma fala, até em outro idioma. Esta tomada de 30 segundos no Seedance 2.5 foi escrita como um plano contínuo da concha ao sorriso, com a fala do chef em japonês.

• Vídeos de clima e filmes conceituais, para testar uma ideia antes de investir em uma filmagem.
• B-roll: paisagens urbanas, natureza, texturas e multidões para intercalar com outros planos.
• Clipes para redes sociais construídos em torno de uma única imagem ou momento marcante.
• Storyboards em movimento, para que diretor e cliente vejam a mesma cena.
• Fundos e loops para apresentações, música e eventos ao vivo.

Todo modelo de vídeo do DreamBench gera vídeo a partir de texto. Eles diferem no som, em poder receber também um último quadro e na nitidez com que renderizam:

Nenhum modelo serve igualmente bem para todo briefing. A página de cada modelo na lista de modelos informa as opções de duração, resolução e som; teste um briefing em dois e compare.

• Ele não consegue conhecer uma pessoa, um produto ou um logo específicos só pelas palavras; use uma imagem de referência para esses casos, como faz referência para vídeo, e mantenha-a em todos os planos para ter um personagem consistente.
• Placas e legendas muitas vezes saem com erros de ortografia.
• Ações complexas com várias etapas são encurtadas, misturadas ou reordenadas.
• Multidões, mãos e coisas se tocando são onde os erros aparecem primeiro.
• Os clipes cintilam ou se desviam quando o modelo perde um detalhe de vista: uma falha de consistência temporal.

Por que o meu clipe para antes de a ação terminar? A duração do clipe é fixada antes de o modelo ler o prompt, então a ação é encaixada nela: uma ação que precisa de mais tempo é encurtada, perde etapas ou termina no meio do movimento. Escreva uma ação que caiba nos segundos que você pediu, ou peça um clipe mais longo; a tabela de reescrita acima mantém uma ação por plano por esse motivo.

No DreamBench, você não escreve cada prompt sozinho. Você descreve o filme, e o DreamBench escreve a lista de planos e um prompt completo para cada clipe, com câmera, luz, ação e som, e depois os renderiza no modelo que você escolher, como o Seedance 2.5, o Veo 3.1 ou o Kling 3.0. Adicione imagens de um personagem ou produto, e elas serão usadas como referência em todos os planos.