O que é transferência de movimento?

Pode ser deepfake: mover um desenho ou o seu próprio personagem não é, mas fazer uma pessoa real parecer executar algo que não fez, sem o consentimento dela, é, e pode ser ilegal onde você mora. Não é troca de rosto: a troca de rosto mantém o vídeo e muda a quem o rosto pertence, enquanto a transferência de movimento mantém só o movimento e gera um personagem novo, rosto e corpo incluídos.

Para fazer um personagem reproduzir uma dança de um vídeo, use um clipe com uma pessoa inteira no quadro, de 4 a 30 segundos, com a câmera parada. No Morph, escolha Transferir um movimento, envie o clipe e marque o personagem com uma imagem. O Morph mantém o ritmo do original e gera o personagem executando a dança.

Não. A transferência de movimento com IA funciona a partir de um vídeo e de uma imagem ou descrição. A captura de movimento para animação 3D é o método que precisa de um rig.

Uma pessoa, inteira no quadro, movendo-se em velocidade moderada com a câmera quase parada: danças, caminhadas e gestos. Giros rápidos, membros cruzados, mãos e duas pessoas se tocando são o menos confiável: as mãos são pequenas e rápidas, então o modelo de pose costuma lê-las errado e o modelo de vídeo borra ou acrescenta dedos, e duas pessoas que se cruzam ou se tocam confundem a leitura da pose, então transfira um de cada vez.

Tecnicamente, a maioria dos clipes funciona, mas use só atuações que você filmou ou sobre as quais tem direitos. O Morph aceita um clipe de 4 a 30 segundos.

A transferência de movimento define como um personagem se move; a consistência de personagem mantém a aparência dele. Um bom resultado precisa das duas coisas: os movimentos certos, e o mesmo rosto e a mesma roupa do primeiro ao último quadro.

Uma pessoa, inteira no quadro, diante de um fundo liso, com luz estável e uma câmera que não se mexe muito. Movimentos claros e não muito rápidos são os que se transferem melhor.

Geralmente, mas nem sempre. Os tempos e as poses são mantidos; uma ferramenta generativa pode reenquadrar, como a edição da luta acima faz ao colocar a câmera mais baixa e mais perto. Peça para a câmera ficar como foi filmada, se isso importar.

Sim, quando o corpo tem membros nos quais o esqueleto pode ser mapeado: a luta acima é executada por três gatos. Uma cobra ou um carro não tem articulações para receber a pose, então o resultado se perde.

Várias ferramentas oferecem um teste. No DreamBench, você cria uma conta gratuita e escolhe um plano, e cada edição do Morph consome créditos dele.

Sim. Para fazer você mesmo dançar a partir de um vídeo no DreamBench, ative Pessoas reais no Morph, adicione exatamente uma foto, a da pessoa que faz os movimentos, e marque a caixa de que é você ou alguém que deu permissão. A foto, incluindo o próprio fundo, é guiada pelo clipe em uma rota que aceita rostos; por padrão, o Morph recusa um rosto real. Use só o seu próprio rosto, ou um para o qual você tem permissão.

A transferência de movimento no DreamBench mantém o som do vídeo original: o som do próprio clipe é recolocado sob o vídeo novo no final, a etapa mostrada como Adicionando o som, então uma dança continua na sua música e uma fala ainda é ouvida onde foi dita. A chave Manter o som do clipe vem ligada por padrão; desligue-a para adicionar a sua própria trilha em um editor. Só use músicas que você tem o direito de publicar.

O rosto do seu personagem muda durante a dança porque cada quadro do novo personagem é gerado, com o esqueleto fixando só onde o corpo vai; o rosto é redesenhado a cada quadro a partir da sua imagem e da memória do modelo, e giros rápidos, mãos cruzando o rosto e clipes longos dão a ele mais chances de se desviar. Use uma imagem nítida e bem iluminada do personagem, escolha uma parte do clipe com movimentos mais lentos, mantenha a janela curta e renderize em HD a versão que você vai guardar.