Edição de vídeo com IA
O que é edição de vídeo com IA?
Edição de vídeo com IA é usar IA para mudar um vídeo. As ferramentas assistivas aceleram a edição comum: cortar silêncios, adicionar legendas, reenquadrar. A edição generativa, assunto desta página, muda o que está no quadro: troca, remove, adiciona ou muda o estilo de coisas num clipe real, enquanto o tempo e a câmera continuam como estavam.
Pela Equipe DreamBench. Atualizado em .
Edição de vídeo com IA em resumo
Visão geral
- O que entra
- Um vídeo, uma instrução e, muitas vezes, uma imagem do que deve aparecer.
- O que sai
- O mesmo clipe, com a parte que você indicou alterada e o resto mantido.
- Edições principais
- Trocar, adicionar, remover, mudar o estilo e transferir um movimento para um novo personagem.
- O que é mantido
- O ritmo, o movimento de câmera e, a menos que você os mude, as pessoas e os lugares.
- Ainda é difícil
- Movimento rápido, coisas passando na frente umas das outras, cabelo e fumaça, e clipes longos.
Trocar algo
Uma pessoa, um objeto ou uma criatura é substituído; o movimento continua.
Adicionar algo
Um novo objeto ou personagem entra na cena e se move com ela.
Remover algo
O objeto sai; o fundo atrás dele é preenchido.
Mudar o visual
O estilo, a época ou a luz mudam; as formas e o movimento continuam.
Transferir um movimento
O movimento de um clipe conduz outro personagem.
De qual edição eu preciso?
Substituir uma pessoa ou um objeto: Uma troca: o movimento e o tempo da pessoa são mantidos e um novo personagem ou objeto é gerado no lugar dela, a partir de uma imagem ou de uma descrição. No Morph, escolha Trocar algo e marque o substituto com uma imagem.
Colocar algo novo na cena: Uma adição: a cena original e o movimento dela ficam, e um novo objeto ou personagem é gerado dentro dela. No Morph, escolha Adicionar algo e diga onde ele entra.
Tirar algo: Uma remoção, que é inpainting de vídeo: o objeto desaparece e o fundo atrás dele é preenchido em cada quadro. No Morph, escolha Remover algo e cite também a sombra e o reflexo dele.
Mudar o visual inteiro: Uma mudança de estilo: os contornos, a profundidade e o movimento de cada quadro são mantidos, e a superfície deles é repintada no estilo que você indicar, de anime a claymation. No Morph, escolha Mudar o visual.
Fazer outro personagem executar o movimento: Transferência de movimento: a pose e o tempo são lidos do clipe e um novo personagem os executa. No Morph, escolha Transferir um movimento e marque o personagem com uma imagem.
Dois tipos de edição de vídeo com IA
A maior parte da IA nos apps de edição do dia a dia ajuda quem edita: encontra os cortes, remove silêncios, escreve legendas e reenquadra um clipe para o celular. Ela trabalha com as imagens que você filmou. A edição generativa muda as próprias imagens.
| O que faz | Cria pixels novos | Exemplos | |
|---|---|---|---|
| Assistiva | Agiliza a edição de sempre | Não | Cortar silêncios e pausas, legendas, reenquadramento, escolha das tomadas que ficam |
| Generativo | Muda o que está no quadro | Sim | Trocar uma pessoa, remover um objeto, mudar o estilo de uma cena, transferir um movimento |
O DreamBench faz o tipo generativo, com o Morph. O resto desta página trata dele.
Duas edições reais de vídeo com IA, antes e depois
Os dois foram feitos com o Morph a partir de clipes reais. Arraste a linha em cada um para comparar o original com a edição.
Original
Com o MorphTroque o fundo por @livingroom, com a disposição de @floorplan, mas troque os 3 gatos por @yickshuncat, @oreo e @mango.
Original
Com o MorphComo a edição de vídeo com IA difere da edição tradicional
A edição tradicional organiza imagens que foram filmadas: cortar, aparar, reordenar, corrigir a cor, adicionar títulos. Os efeitos visuais mudam o que há no quadro, mas à mão, quadro a quadro, com máscaras e rastreamento. A edição de vídeo com IA pede a um modelo que faça a mudança, e o modelo gera os pixels novos para todos os quadros de uma vez.
| Edição tradicional | Efeitos visuais à mão | Edição de vídeo com IA | |
|---|---|---|---|
| Muda | Ordem, duração, cor, som | Qualquer coisa no quadro | Qualquer coisa que você consiga descrever |
| Como | Cortando quadros existentes | Máscaras, rastreamento e composição, quadro a quadro | Um modelo gera os pixels novos |
| Tempo por plano | Minutos | De horas a dias | Minutos, mais as novas tentativas |
| Controle | Exato | Exato, com habilidade | Aproximado: você guia com palavras e imagens |
Como funciona a edição de vídeo com IA
A edição de vídeo com IA funciona em quatro etapas: o modelo encontra a região que você indicou, segue-a por todos os quadros, gera o que a substitui e mistura o resultado para que fique estável de um quadro para o outro. Ele se condiciona ao movimento do clipe original, então os novos pixels se movem com os antigos.
Vídeo de origem
O clipe que você envia: o movimento, o ritmo e a câmera dele continuam sendo a base.
Encontrar a região
O modelo localiza o que você indicou e acompanha isso em todos os quadros.
Gerar a mudança
Pixels novos só para essa região: um rosto novo, um objeto adicionado, um fundo vazio.
Integrar ao longo do tempo
Luz, sombra e movimento são ajustados para que a mudança se mantenha de um quadro para outro.
Vídeo editado
Tudo o que você não indicou deve continuar como estava.
Encontrar e acompanhar a região
Os modelos de segmentação contornam um objeto em um quadro e o rastreiam pelo resto, mesmo quando ele vira ou fica escondido por um instante. O SAM 2, da Meta, é um exemplo muito usado. Para bordas suaves, como cabelo, um modelo de matting dá a cada pixel uma parcela de transparência, em vez de um sim ou não.
Máscara
Cada pixel está dentro ou fora. Serve para um objeto sólido, mas fica serrilhada em cabelo, fumaça ou desfoque de movimento.
Matte
Cada pixel tem um grau de transparência, de 0 a 100%, então os fios soltos mantêm a suavidade.
Gerar a mudança
Para remover algo, o modelo preenche o buraco com o que provavelmente estava atrás, aproveitando pixels de quadros vizinhos em que o fundo aparecia: isso é inpainting de vídeo. Para trocar ou adicionar, ele gera o novo elemento dentro da região, guiado pelas suas palavras ou por uma imagem de referência. Para mudar o estilo, ele mantém os contornos e a profundidade de cada quadro e repinta a superfície.
Manter tudo estável
A parte difícil não é um quadro bom, são 24 quadros bons por segundo que concordam entre si. Os modelos de edição se baseiam no movimento do clipe original, para que os pixels novos se movam com os antigos. Quando isso falha, você vê cintilação, um rosto trocado que escorrega ou um objeto removido que reaparece como um fantasma: uma falha de consistência temporal.
Os tipos de edição de vídeo com IA
| Muda | Mantém | Também chamado de | |
|---|---|---|---|
| Trocar algo | Uma pessoa, um objeto ou uma criatura | Movimento, câmera, todo o resto | Troca de personagem, substituição de objeto, troca de rosto |
| Adicionar algo | Um novo objeto ou personagem na cena | A cena original e o movimento dela | Inserção de objetos |
| Remover algo | Um objeto, uma pessoa, uma placa, um microfone boom | O fundo atrás dele, preenchido | Inpainting de vídeo, remoção de objetos |
| Mudar o visual | O visual: estilo, época, estação do ano, luz | Formas, composição e movimento | Transferência de estilo em vídeo, re-renderização |
| Transferir um movimento | Quem se move | O movimento, exatamente igual | Transferência de movimento, transferência de pose |
A performance
Um clipe de alguém se movendo: a origem do movimento.
O movimento
A pose da pessoa, lida quadro a quadro: articulações e ritmo, sem a aparência.
O novo personagem
Outro personagem, gerado na mesma pose e no mesmo momento.
Como escrever uma instrução de edição de vídeo com IA
Uma instrução de edição funciona melhor quando diz o que muda, no que isso se transforma e o que deve continuar igual. Chame as coisas do jeito que aparecem no clipe e dê ao modelo uma imagem de tudo o que ele precisar inventar.
| Vaga | Precisa | |
|---|---|---|
| Troca | Transforme-os em gatos. | Swap the 3 kittens for @yickshuncat, @oreo and @mango (with a picture of each), keep the dance. |
| Fundo | Mude o ambiente. | Change the background to @livingroom, laid out as in @floorplan. |
| Remover | Limpe isso. | Remova o homem de jaqueta vermelha que passa atrás dela, e a sombra dele. |
| Mudar o estilo | Deixe com um visual legal. | Mude o estilo de todo o clipe para anime desenhado à mão, mantendo o movimento de câmera e o ritmo. |
As duas primeiras linhas são o prompt por trás dos gatinhos acima: os nomes com @ apontam para as imagens que o Morph recebeu.
Onde se usa a edição de vídeo com IA
- Anúncios: uma filmagem de produto em muitas versões, um produto trocado, uma cena com o estilo mudado para uma estação do ano.
- Vídeo para redes sociais: a dança de uma trend feita por outro personagem, um clipe com estilo de anime ou de massinha.
- Limpeza: um pedestre, um microfone boom ou uma placa removidos de um plano que não dá para filmar de novo.
- Pré-visualização: imagens brutas gravadas no celular, transformadas no visual do filme final.
- Localização: a mesma cena com outro apresentador ou outro produto para cada mercado.
Onde a edição de vídeo com IA falha
- Movimento rápido e desfoque de movimento: o modelo perde a região de vista, e a edição escorrega.
- Oclusão: quando algo passa na frente do elemento principal, a troca pode piscar ou se rasgar.
- Bordas finas: cabelo, fumaça, vidro e água são difíceis de separar do fundo.
- Tamanho da mudança: uma mudança pequena se mantém melhor do que uma cena inteira nova; peça uma coisa de cada vez.
- Duração: as edições são feitas em clipes curtos; um vídeo longo é editado em partes.
Por que a minha edição com IA parece sem nitidez ou em baixa resolução? No DreamBench, uma prévia do Morph é um rascunho em 480p, feito para conferir se a edição está certa antes de pagar por uma renderização completa; Gerar em HD renderiza em 1080p e completa a mesma tomada, ou em 720p como uma renderização nova. Um clipe que já era sem nitidez, tremido ou muito comprimido dá ao modelo menos para rastrear, então a edição escorrega mais; comece da exportação mais limpa que você tiver.
Mudar quem aparece em um vídeo pode enganar. Só edite pessoas que concordaram com isso, nunca apresente uma edição como gravação real e siga as regras das plataformas em que você publica.
Como o DreamBench edita vídeo
O Morph edita um clipe de 4 a 30 segundos. Você envia o vídeo ou escolhe um modelo, marca com imagens os personagens ou objetos que quer nele e diz o que fazer: trocar algo, adicionar algo, remover algo, mudar o visual ou transferir um movimento. O Morph mantém o movimento e o tempo originais, e o som do próprio clipe, a menos que você o desligue.
| Limite | O que isso significa | |
|---|---|---|
| O clipe | Um envio em MP4, MOV ou WebM, ou um modelo; o Morph edita um trecho de 4 a 30 segundos dele | Escolha a parte de um vídeo mais longo que precisa da edição; o resto fica como foi filmado e é montado de volta no seu editor. |
| Pessoas reais | Até 15 segundos do clipe para uma edição com pessoas reais, com a caixa marcada de que é você ou pessoas que autorizaram | A edição então é renderizada em uma rota que aceita rostos; por padrão, o Morph recusa um rosto real, e uma geração recusada não custa nada. |
| Imagens | Até 4, PNG, JPEG ou WebP, 10 MB cada, chamadas de @Image1 a @Image4 no seu texto | Uma imagem de cada coisa que o Morph precisa inventar: os gatos e o cômodo na edição dos gatinhos acima. |
| Palavras | Até 2000 caracteres, ou escolha Editar o vídeo ou Copiar os movimentos | O Morph lê nas palavras qual tarefa você quer; palavras como “copie os movimentos” fazem ele passar para um vídeo novo com os movimentos do clipe. |
| Saída | Uma Prévia em 480p e depois Gerar em HD em 1080p ou 720p | A prévia é um rascunho da tomada; a renderização em 1080p completa a mesma tomada, e a de 720p renderiza do zero. |
| Som | Manter o som do clipe, ligado por padrão | O som original é colocado de volta sob a edição no final; desligue-o para adicionar a sua própria trilha em um editor. |
Perguntas
Edição de vídeo com IA é o mesmo que vídeo para vídeo?
Quase. Vídeo para vídeo é o modo do modelo: entra um vídeo e sai um vídeo. Edição de vídeo com IA é o que você faz com ele: trocar, remover, adicionar, mudar o estilo ou transferir um movimento.
A IA consegue remover um objeto de um vídeo?
Sim. O inpainting de vídeo remove o objeto e preenche a área com o que provavelmente estava atrás, usando os quadros em que o fundo aparecia. Funciona melhor com objetos pequenos e planos estáveis.
A IA consegue editar o meu vídeo automaticamente?
A IA pode editar um vídeo automaticamente no sentido assistivo: encontrar os cortes, remover silêncios, adicionar legendas e reenquadrar para o celular, com você ajustando o resultado. A edição generativa é diferente: você diz o que mudar no quadro, como trocar, remover ou mudar o estilo, e o modelo gera a mudança. O DreamBench faz o tipo generativo, com o Morph, e deixa cortes e legendas para o seu editor.
A IA consegue trocar o fundo de um vídeo?
Sim. Um editor generativo mantém o elemento principal e o movimento dele e gera uma cena nova atrás, a partir de uma descrição ou de fotos do lugar. A edição dos gatinhos acima troca uma estrada à noite por uma sala de estar a partir de fotos da sala.
A IA consegue substituir uma pessoa num vídeo?
Sim: uma troca mantém o movimento e o ritmo da pessoa e gera um personagem novo no lugar dela, a partir de uma imagem ou descrição. Isso exige o consentimento de qualquer pessoa real que apareça, e a maioria das plataformas exige que o resultado seja identificado.
A IA consegue transformar um vídeo real em anime ou claymation?
Sim. Uma mudança de estilo mantém os contornos, a profundidade e o movimento de cada quadro e repinta a superfície deles no estilo que você indicar; o movimento de câmera e o ritmo ficam como foram filmados.
A edição de vídeo com IA muda o clipe inteiro?
Não deveria. Uma boa edição muda só o que você indicou e mantém todo o resto. Na prática, alguns detalhes mudam, então compare o resultado com o original antes de usá-lo.
Quanto tempo de clipe a IA consegue editar?
A maioria dos modelos de edição generativa trabalha com clipes curtos, de segundos, não de minutos. O Morph aceita um clipe de 4 a 30 segundos; um vídeo mais longo é editado em partes.
A IA vai substituir os editores de vídeo?
O julgamento, não. A IA deixa rápidos alguns trabalhos demorados, como remover um objeto ou encontrar os cortes, mas escolher a história, o ritmo e o que manter continua com as pessoas.
Trocar um rosto em um vídeo é permitido por lei?
Depende do país e do consentimento. Trocar o rosto de alguém sem permissão pode violar leis de direito de imagem, privacidade ou deepfakes, e a maioria das plataformas exige que vídeos alterados por IA sejam rotulados: o YouTube pede que os criadores informem conteúdo realista que foi alterado de forma significativa ou gerado com IA, e adiciona um rótulo.
Uma edição com IA mantém o som original?
No DreamBench, o Morph mantém o som do próprio clipe: a chave Manter o som do clipe vem ligada por padrão, e o som original é recolocado sob a edição no final, a etapa mostrada como Adicionando o som. Desligue-a quando preferir adicionar a sua própria trilha em um editor depois. Uma transferência de movimento mantém o som do original do mesmo jeito, então uma dança continua na sua música.
Editar vídeo com IA é pago?
Muitos editores assistidos incluem corte e legendas em um nível básico. Para edições generativas no DreamBench, você cria uma conta gratuita e escolhe um plano, e cada edição do Morph usa créditos dele.
Em que resolução sai um vídeo editado com IA?
Um vídeo editado com IA no DreamBench sai primeiro como uma Prévia em 480p, um rascunho para conferir se a edição é o que você pediu. Gerar em HD então renderiza em 1080p, completando a mesma tomada, ou em 720p como uma renderização nova; você escolhe na hora de gerar em HD. Com pessoas reais no clipe, a edição é renderizada por outra via, que não aceita escolha de resolução. Baixe o resultado como um MP4 pronto para TikTok, Reels e Shorts.
Posso editar um vídeo com IA no celular?
Sim. O Morph funciona no navegador do celular, sem nada para instalar: envie um MP4, MOV ou WebM direto do celular, adicione imagens da sua galeria, diga o que mudar e baixe o resultado. Um clipe vai direto para o armazenamento, em vez de passar pela página, então um arquivo do tamanho que um celular gera é normal, e você escolhe os 4 a 30 segundos dele que precisam da edição.
Quanto tempo leva uma edição de vídeo com IA?
Uma edição de vídeo com IA no DreamBench leva minutos, não segundos: o Morph prepara o clipe, entrega ao serviço de vídeo, que pode colocá-lo em fila e mostra a sua posição nela, renderiza a edição e recoloca o som no final. Na primeira vez que um clipe ou as suas imagens vão ao serviço, eles passam por uma liberação nele, o que acrescenta minutos uma única vez.
Posso usar um vídeo editado com IA para fins comerciais?
Sim, no DreamBench. Pelos Termos do DreamBench, você pode usar o que o Morph cria para fins pessoais e comerciais, incluindo publicidade, conteúdo monetizado e trabalhos para clientes, sem precisar de um upgrade separado para uso comercial. Os Termos não garantem direitos autorais sobre um resultado nem liberam os direitos de outra pessoa sobre o seu envio, então edite só imagens, rostos e músicas dos quais você tem os direitos, obtenha o consentimento de qualquer pessoa real que apareça e identifique o resultado onde a plataforma exigir.
Relacionados
Termos
- Transferência de movimentoIA que pega o movimento de um vídeo e o passa para outro personagem.
- Inpainting de vídeoPreencher uma região de um vídeo para que combine com cada quadro, que é como a IA remove objetos e pessoas.
- Consistência temporalO quanto um vídeo com IA mantém as coisas iguais de um quadro para outro, sem cintilação nem desvio.
- Remoção de fundoSeparar o elemento principal de uma foto do que está atrás dele, com modelos de segmentação ou de matting.
Fontes
- SAM 2: Segment Anything in Images and VideosarXiv, consultado em
- Ajuda do YouTube: Divulgação do uso de conteúdo gerado por IAYouTube, consultado em
O DreamBench é uma plataforma independente e não é afiliado às empresas citadas nesta página nem endossado por elas.