O que é áudio nativo em vídeo com IA?

Um modelo com áudio nativo é treinado com clipes e as suas trilhas sonoras, então aprende que uma porta fecha com um estrondo, que uma rua cheia tem um burburinho e que os lábios se movem com as palavras que dizem. Ao gerar, ele faz os quadros e o som juntos, ambos guiados pelo mesmo prompt e colocados na mesma linha do tempo, então cada som começa no quadro que o provoca.

O jeito mais antigo, ainda comum, faz primeiro um clipe mudo e dá som a ele depois: uma voz de um modelo de texto para fala, efeitos de um modelo de som que assiste ao clipe, música escolhida em um editor. Cada etapa é separada, então cada uma precisa ser alinhada com a imagem à mão ou por outro modelo. O Google descreve o Veo 3.1 como gerando todo o seu áudio de forma nativa, e a ByteDance chama o Seedance 2.5 de um modelo de geração conjunta de áudio e vídeo.

Por dentro: dois fluxos que se escutam

Os modelos conjuntos publicados rodam dois geradores lado a lado, um para a imagem e outro para o som, e deixam que troquem informações a cada passo. O MM-Diffusion (2022) foi um dos primeiros projetos: duas sub-redes que transformam ruído em um clipe e uma trilha sonora correspondentes, juntos. O Ovi (2025) une duas torres de transformer bloco a bloco, compartilhando tempo e significado entre elas, o que, segundo os autores, dá sincronização sem uma etapa de alinhamento separada.

O artigo do LTX-2 (2026), da Lightricks, criadora do LTX-2.3, apresenta a mesma ideia em grande escala: um fluxo de vídeo de 14 bilhões de parâmetros e um fluxo de áudio de 5 bilhões de parâmetros, ligados por atenção nos dois sentidos, com fala, som de fundo e foley, e pesos publicados. O outro caminho, o som feito depois da imagem, também continua sendo estudado: o MMAudio recebe um vídeo pronto, com texto opcional, e gera um som alinhado a ele quadro a quadro.

A trilha sonora de um clipe é feita de camadas, e um prompt funciona melhor quando nomeia cada camada que quer. A orientação do Google para o Veo 3.1 é dizer claramente se você quer áudio e descrevê-lo em frases próprias; o guia de prompts dele rotula os efeitos com “SFX:” e o fundo com “Ambient noise:”.

Ambiente e efeitos são o que os modelos de vídeo fazem com mais confiabilidade: o som de um lugar é longo e tolerante, e um efeito só precisa cair em um quadro. A fala é a camada mais difícil, porque cada sílaba precisa combinar com uma boca.

O áudio nativo é uma das várias formas de dar som a um vídeo:

A diferença em relação à sincronização labial é a ordem. A sincronização labial parte de uma voz e muda a imagem para combinar com ela; o áudio nativo faz a voz e a boca em movimento ao mesmo tempo, a partir das palavras do prompt, então nenhuma das duas é encaixada na outra.

O diálogo é escrito no prompt, não gravado. Esta tomada de 30 segundos foi feita no DreamBench com o Seedance 2.5 com o som ligado; o briefing está em inglês e a única fala do chef está em japonês, citada na escrita japonesa com o significado ao lado.

• Coloque a fala entre aspas, logo depois da pessoa que a diz, para que a voz pertença a alguém na tela.
• Diga como ela é dita: baixinho, sem fôlego, rindo. O jeito de dizer faz parte da fala.
• Diga o idioma quando ele não for o idioma do briefing, e escreva as palavras nesse idioma.
• Seja breve: uma ou duas frases curtas cabem em um clipe de 8 segundos; um discurso, não.
• Uma pessoa falando por vez. Duas pessoas falando ao mesmo tempo é onde as vozes se trocam e as bocas saem erradas.

A referência do modelo do Google lista o inglês como o idioma de prompt do Veo 3.1. Vale testar uma fala em outro idioma no modelo antes de contar com ela.

Som sem palavras também precisa de direção. Este clipe no Veo 3.1 pede um som que muda uma vez, no momento certo: o briefing termina com “Ambiente abafado debaixo d’água, depois uma respiração nítida”, e a respiração vem quando a tartaruga rompe a superfície.

• Ligue cada efeito a uma ação na mesma frase: “a porta bate quando ela sai” funciona melhor do que uma lista de sons no final.
• Descreva o ambiente com a matéria do próprio lugar: vento sobre um telhado, o murmúrio de um café, o trânsito a duas ruas de distância.
• Diga como o som termina: ele para num corte, continua ou vai sumindo.

• Desvio da sincronização labial: a boca e as palavras começam juntas e depois se separam ao longo de uma fala longa, ou a boca se mexe quando ninguém está falando.
• Fala embaralhada: as palavras saem arrastadas, inventadas ou fora de ordem, mais vezes em falas longas ou rápidas. O Google diz que ainda trabalha para eliminar casos de fala incoerente do Veo, e o guia dele chama os recursos de áudio de experimentais e em melhoria contínua.
• A pessoa errada falando: com duas ou três pessoas em quadro, uma fala pode sair da boca errada, ou pode aparecer uma voz a mais.
• Vozes que mudam entre clipes: cada clipe é feito separadamente, então um personagem descrito de formas diferentes em dois prompts pode soar como duas pessoas; veja consistência de personagem.
• Música que para a cada corte: uma trilha feita dentro de um clipe termina onde o clipe termina, e o clipe seguinte começa outra.
• Música pela qual você não pode responder: nada em um clipe gerado diz se a melodia dele se parece com uma gravação que existe. Para tudo o que você publicar comercialmente, use uma faixa cuja licença você conhece.
• Volume que salta: cada clipe sai no nível que o modelo escolheu, então um corte entre dois clipes pode ficar de repente mais alto ou mais baixo. Nivele o som em um editor antes de publicar.

Vozes e consentimento

Uma voz gerada pode soar como a de uma pessoa real. Não peça no prompt a voz de uma pessoa identificada pelo nome, e não coloque palavras na boca de uma pessoa real sem o consentimento dela; para uma voz que você precisa exatamente, grave-a com permissão.

A maioria dos modelos de vídeo atuais gera som. No DreamBench, alguns sempre geram e outros têm uma chave, e a tabela abaixo é lida das configurações do próprio painel de criação:

O som está sempre ligado no Veo 3.1, no Kling 4.0, no Wan 3.0, no Grok Imagine 1.5, no MiniMax H3 e no HappyHorse 1.1: os criadores deles não oferecem nenhuma forma de desligá-lo. O Seedance 2.5, o Seedance 2.0, o Kling 3.0, o Wan 2.7 e o LTX-2.3 têm uma chave. O único som do Vidu Q2 é música de fundo, que um filme do DreamBench deixa desligada.

Desligar o som reduz o preço só no Kling 3.0, cujo provedor cobra menos por um clipe sem som; em todos os outros modelos, entre eles o Seedance 2.0, embora a ByteDance o descreva como um modelo conjunto de áudio e vídeo, a chave muda o que você ouve, não os créditos. A página de cada modelo na lista de modelos mostra as durações e as configurações dele.

No DreamBench, você descreve o filme, e o DreamBench escreve o prompt de cada clipe, incluindo o som. Cada clipe com som ganha uma linha de som própria: o ambiente do lugar, a voz de cada pessoa que fala, quantas falas são ditas, por quem e em que idioma quando o seu briefing indica um, e como o som termina no corte.

• A voz de um personagem é decidida uma vez e escrita palavra por palavra em todos os clipes em que ele fala, porque uma voz descrita com palavras novas a cada vez sai como uma voz nova.
• Os clipes de um filme trazem os seus próprios sons e vozes, nunca música: cada clipe é renderizado por conta própria, então uma trilha feita dentro de um clipe pararia de repente no corte dele.
• A chave Som fica ao lado do modelo no painel de criação. Num modelo cujo som está sempre ligado, ela aparece ligada e não pode ser desligada.

Para escrever você mesmo um único prompt com som, o gerador de prompt de vídeo com IA tem uma parte de som, do ambiente sozinho a uma fala entre aspas, e o gerador de prompt para Veo 3.1 escreve para um modelo cujo som está sempre ligado. Leia mais sobre geração de vídeo com IA, texto para vídeo e vídeo multi-shot.