O que é lip sync com IA?

Cada som da fala tem um formato de boca. Os lábios se fecham com força no p, no b e no m; os dentes de cima tocam o lábio inferior no f e no v; os lábios se arredondam no u. A sincronização labial funciona colocando esses formatos na tela no momento em que cada som é ouvido e passando de um para o outro como uma boca de verdade faz.

Há duas formas de chegar lá. Um modelo de vídeo com som pode fazer o rosto e a voz de uma vez, a partir de um prompt que contém a fala: nada existe antes da geração, então a boca e as palavras são inventadas juntas. Ou um modelo de sincronização labial pode receber um vídeo que já existe e uma faixa de áudio e redesenhar só a região da boca para que ela diga as novas palavras.

Fonemas e visemas

Um fonema é um som da fala; um visema é a aparência dele no rosto. Na documentação de fala da Microsoft, um visema é “a descrição visual de um fonema”, e não há correspondência de um para um: vários sons, como s e z, têm a mesma aparência no rosto de quem fala. A Microsoft usa 22 visemas no seu serviço de fala e observa que o conjunto varia de idioma para idioma, o que é um dos motivos pelos quais uma sincronização labial que parece certa em um idioma pode parecer solta em outro.

Pipelines de avatares e de jogos guiam um rosto 2D ou 3D diretamente a partir de visemas: o motor de voz indica cada formato de boca e quando ele começa. Os modelos de vídeo não listam visemas; eles aprendem a ligação entre som e boca a partir de gravações de pessoas falando.

Modelos de sincronização labial guiados por áudio

A sincronização labial guiada por áudio parte de um rosto que você já tem. Um exemplo de pesquisa conhecido é o Wav2Lip (2020): ele sincroniza os lábios de “um vídeo de rosto falando de uma identidade qualquer” com um trecho de fala de destino, e aprende com um forte discriminador de sincronização labial, uma rede que julga se a boca e o som combinam. Um artigo anterior de Oxford, Out of time, de Chung e Zisserman (2016), treinou uma rede para medir a sincronização entre o movimento da boca e a fala em um vídeo: o tipo de juiz com que esses modelos aprendem.

Os criadores de modelos agora vendem o mesmo caminho como recurso. O Lip Sync do Kling recebe um vídeo com um rosto completo e um arquivo de áudio enviado ou uma voz feita a partir de texto, e corta o áudio se ele for mais longo do que o vídeo. O VideoRetalk, da Alibaba, recebe um vídeo e um arquivo de áudio e pede um rosto nítido, de frente. Em cada um, o resto do quadro é mantido e a parte de baixo do rosto é redesenhada.

Modelos conjuntos de áudio e vídeo

O caminho mais novo faz som e imagem na mesma geração. O Google apresentou o Veo 3 como um modelo que gera efeitos sonoros, ambiente e diálogo de forma nativa, e o Kling 3.0 é descrito com sincronização labial no nível de cada personagem e diálogo distribuído entre vários personagens em uma cena. Modelos de pesquisa como o Ovi (2025) mostram a ideia de forma aberta: um único processo generativo para os dois, com duas redes ligadas trocando tempo e significado, para que o som não precise de alinhamento depois. Veja áudio nativo para conhecer o lado do som em detalhe.

O caminho de que você precisa depende do que você tem para começar. Se nada existe ainda, gere o rosto e a voz juntos; se uma gravação ou uma voz já existe e precisa ficar, você precisa de uma ferramenta guiada por áudio.

Esses nomes se misturam nos resultados de busca e nas ferramentas, mas descrevem trabalhos diferentes. A sincronização labial é a parte que eles têm em comum: uma boca que combina com a fala.

Esta tomada de 30 segundos foi feita no DreamBench a partir do briefing abaixo dela, no Seedance 2.5 com som. A fala do chef está escrita no briefing em japonês, entre aspas, com quem a diz e como: “diz baixinho em japonês”. Nada foi gravado; a voz, as palavras e a boca foram geradas juntas.

Repare em como a fala é posicionada: depois de uma pausa, enquanto o chef está parado e de frente para a luz. Uma fala funciona melhor num rosto que não está fazendo também algo rápido.

Para fazer um personagem de IA falar, escreva a fala no prompt, entre aspas, e diga quem a diz. Um modelo com som lê uma fala entre aspas como fala; uma fala sem aspas muitas vezes é tratada como descrição. Uma ordem útil:

• Seja breve: cerca de duas palavras por segundo de clipe é um ritmo confortável, então um plano de 8 segundos comporta uma ou duas frases.
• Uma pessoa falando por vez, com cada fala dada a uma pessoa identificada; diga que as outras escutam em silêncio.
• Coloque quem fala de frente para a câmera ou em três quartos, com luz no rosto.
• Mantenha mãos, comida, xícaras e microfones longe da boca enquanto a fala é dita.
• Se você precisar de um sotaque, peça com palavras, como “um leve sotaque escocês”.

O gerador de prompt de vídeo com IA tem uma opção de fala para qualquer modelo, e o gerador de prompt para Kling 3.0 escreve uma fala para ser sincronizada em inglês, chinês, japonês, coreano ou espanhol. Os dois escrevem só o prompt; o clipe continua sendo feito pelo modelo de vídeo.

• Anúncios e clipes para redes sociais falando para a câmera, em que um apresentador diz uma fala sobre um produto.
• Dramas curtos e esquetes, com dois personagens trocando falas.
• Personagens animados e estilizados que falam, de um mascote a um bicho de desenho animado.
• A mesma cena em vários idiomas, cada versão gerada com a sua própria fala.

• Fala rápida: quando os sons vêm mais rápido do que os quadros conseguem mostrar, a boca vira um borrão ou pula formatos. Deixe a fala mais lenta ou corte palavras.
• Rostos de lado: os dois caminhos funcionam melhor com um rosto visto de frente ou em três quartos; o VideoRetalk pede logo de cara um rosto de frente. De perfil, metade da boca fica escondida e os erros aparecem.
• Barbas, bigodes e mãos perto da boca escondem o contorno dos lábios, então o modelo tem menos para seguir e mais para inventar.
• Dentes e língua: saem borrados, fundidos ou mudam de um quadro para outro, sobretudo nas vogais abertas em close.
• Várias pessoas falando: a voz pode sair do rosto errado, ou os lábios de quem escuta também se mexem. Identifique cada pessoa que fala e dê cada fala a uma pessoa.
• Idiomas: um modelo sincroniza melhor os lábios nos idiomas com que mais aprendeu. Alguns criadores listam os deles, e uma fala em outro idioma pode sair menos nítida ou em outro idioma.

Por que a voz no meu vídeo com IA não combina com a boca? Normalmente a fala é longa ou rápida demais para o clipe, a pessoa que fala está virada para o lado, ou o prompt não diz quem fala: corrija isso e gere de novo. O próprio Google aponta a fala em trechos curtos e a sincronização do áudio como trabalho em andamento no Veo.

Uma ferramenta guiada por áudio pode colocar quaisquer palavras em qualquer rosto filmado. É a mesma técnica por trás de muitos deepfakes, e é por isso que o consentimento vem primeiro: faça uma pessoa real parecer dizer algo só com a permissão informada dela, e nunca para enganar, para endossar um produto que ela não endossa ou para colocar palavras na boca de uma figura pública.

Os Termos de Uso do DreamBench pedem permissão informada antes que a imagem ou a voz de uma pessoa real seja processada ou representada com IA, e proíbem representações não autorizadas de pessoas reais, falsificação de identidade enganosa e falsos endossos. O Seedance no DreamBench recusa de imediato imagens de referência com rostos humanos reais.

Se um clipe mostra uma pessoa real dizendo algo que ela não disse, identifique-o como feito com IA onde quer que você o publique.

No DreamBench, a sincronização labial é gerada junto com o vídeo. Você descreve o filme e, quando o briefing tem pessoas falando, o DreamBench escreve cada fala no prompt da cena dela, entre aspas, indica quem a diz, mantém os lábios de todos os outros fechados e descreve a voz de cada pessoa que fala do mesmo jeito em todos os clipes. Um modelo com som faz então o rosto e a voz em uma só passagem. Cada clipe é gerado por conta própria, então uma voz ainda pode variar um pouco de uma cena para outra; veja consistência de personagem.

Alguns modelos são feitos para isso: o HappyHorse 1.1 está no menu para pessoas falando para a câmera, o Kling 3.0 dá falas a vários personagens em uma cena e o Wan 3.0 monta cenas com diálogo. Mas som nem sempre é fala: no DreamBench, o Wan 2.7 acrescenta música ou efeitos, e o Vidu Q2 só música de fundo.

O que o DreamBench não faz: não há envio de arquivo de áudio, então ele não sincroniza os lábios de um clipe com a sua própria gravação, e não dubla um vídeo existente para outro idioma. O Morph edita o que há em um vídeo que você envia e mantém o som original, a não ser que você o desligue; ele não aceita uma nova faixa de voz. Se uma fala sair errada, refaça só essa cena. A página de cada modelo na lista de modelos diz o que o som dele inclui.