O que é inpainting de vídeo?

A IA remove um objeto de um vídeo em duas etapas. Primeiro, um modelo de segmentação como o SAM 2 contorna o objeto uma vez e o segue por todos os quadros. Depois a região é preenchida: fundo real copiado dos quadros em que ele estava visível, e gerado onde nunca esteve, para que o preenchimento se mova com a câmera.

Máscara ou instrução

Há duas formas de dizer o que deve sair. Em ferramentas clássicas de efeitos visuais, você marca: desenha uma máscara em um quadro e deixa um rastreador segui-la no resto. Em editores generativos mais novos, você diz em palavras, “o ciclista à esquerda”, e o modelo o encontra em cada quadro.

Uma máscara é precisa, mas dá trabalho, e um rastreamento que escorrega deixa marcas. Palavras são rápidas, mas é o modelo que decide onde ficam as bordas, então confira.

Aproveitando outros quadros

Ao contrário de uma foto, um vídeo muitas vezes mostra o que está atrás de um objeto alguns quadros antes ou depois, quando o objeto ou a câmera já se moveram. Métodos guiados por fluxo óptico, como o ProPainter, rastreiam como cada pixel se move entre os quadros e copiam o fundo real para o buraco onde quer que ele tenha aparecido.

Gerando o que nunca apareceu

Onde o fundo nunca ficou visível, o modelo precisa inventá-lo, como o inpainting de imagem faz com uma foto. Os modelos generativos de vídeo fazem isso para o clipe inteiro de uma vez, então a parte inventada se move com a câmera e mantém a textura.

• Remover pedestres, carros ou membros da equipe de um plano que não dá para filmar de novo.
• Limpar cabos, equipamentos, microfones boom e marcadores em efeitos visuais.
• Tirar um logo ou uma placa que você não tem o direito de mostrar.
• Recuperar arranhões, poeira e áreas danificadas em filmes antigos.
• Abrir espaço em uma cena antes de adicionar algo novo a ela.
• Ocultar rostos ou placas de carro por privacidade, substituindo-os em vez de desfocar.

A maioria das remoções que falham poderia ter sido prevista pelo clipe. Confira isto antes de começar:

Nomeie os vestígios na sua instrução: “remova a ciclista e a sombra dela”. Um modelo remove o que você nomeia, não o que você quis dizer.

• Sombras e reflexos que ficam para trás: a pessoa sai, a sombra dela fica. Inclua-os no que você pede para remover.
• Um borrão ou mancha onde o objeto estava, em regiões grandes sem nada para aproveitar.
• Cintilação na área preenchida, quando cada quadro é preenchido de um jeito um pouco diferente: uma falha de consistência temporal.
• Perda de detalhes com a câmera em movimento e em texturas carregadas, como folhagem, multidões e água.

Uma remoção que parece certa em um quadro e errada no seguinte é a falha mais comum. Ou o preenchimento é gerado de novo um pouco diferente a cada quadro e pisca, ou o rastreador perde o objeto quando algo passa na frente dele e o objeto volta por alguns quadros: os autores do SAM 2 observam que ele pode perder o rastro depois de uma oclusão longa. Um clipe mais curto, uma câmera mais estável e uma região afastada de outras coisas em movimento dão ao rastreador menos para perder.

Não remova marcas d’água, créditos ou legendas que você não tem o direito de remover.

No Morph, escolha Remover algo, envie um clipe de 4 a 30 segundos e diga o que deve sair. O Morph preenche a área e mantém o resto do clipe e o movimento dele. Para uma imagem estática, o removedor de objetos faz o mesmo trabalho.