KI-Videobearbeitung
Was ist Bewegungsübertragung?
Bewegungsübertragung ist KI-Videobearbeitung, die die Bewegung aus einem Video nimmt und auf eine andere Figur überträgt. Das Modell liest Pose und Timing des Darstellers Frame für Frame und generiert dann eine neue Figur, aus einem Bild oder einer Beschreibung, die dieselben Bewegungen mit demselben Timing ausführt, vom Tanz bis zum Schulterzucken.
Vom DreamBench-Team. Aktualisiert am .
Bewegungsübertragung auf einen Blick
Auf einen Blick
- Auch genannt
- Motion Control, Posenübertragung oder Tanzübertragung, je nach Produkt.
- Eingabe
- Ein Vorlagevideo (die Darbietung) und ein Ziel: ein Bild oder eine Beschreibung der neuen Figur.
- Ausgabe
- Die neue Figur führt dieselbe Bewegung mit demselben Timing aus.
- Behält
- Pose, Timing, oft die Kamera. Nicht Gesicht, Körper oder Kleidung des Darstellers.
- Gut für
- Tänze und Trends, Figurenanimation, Werbung mit Maskottchen, Previsualisierung.
- Schwierig bei
- Hände, verschränkte Gliedmaßen, sehr schnelle Bewegungen, Körper weit weg von menschlicher Gestalt.
Bewegungsübertragung, vorher und nachher
Original
Mit MorphBei genauem Hinsehen sind die beiden nicht Frame für Frame identisch. Morph hat die Kamera tiefer und näher gesetzt und den ersten Wurf als Nahaufnahme inszeniert. Das ist typisch für generative Bewegungsübertragung: Sie überträgt den Ablauf einer Darbietung, ihr Timing und ihre Posen, während Kamera und Details neu generiert werden.
So funktioniert Bewegungsübertragung
Die Darbietung
Ein Clip von jemandem, der sich bewegt: die Quelle der Bewegung.
Die Bewegung
Ihre Pose, Frame für Frame gelesen: Gelenke und Timing, kein Aussehen.
Die neue Figur
Eine andere Figur, generiert in derselben Pose im selben Moment.
Bewegungsübertragung arbeitet in zwei Schritten. Zuerst liest ein Posenmodell den Darsteller in jedem Frame: wo Kopf, Schultern, Ellbogen, Hände, Hüften, Knie und Füße sind. Das Ergebnis ist ein bewegtes Skelett ohne jede Spur seines Aussehens.
Dann generiert ein Videomodell die neue Figur Frame für Frame mit diesem Skelett als Vorlage, während ein Bild oder eine Beschreibung festlegt, wie die Figur aussieht. Forschungssysteme wie Everybody Dance Now (2018) und Animate Anyone (2023) haben den Ansatz etabliert; heutige Videomodelle erledigen das in einem Durchgang und lesen manchmal neben dem Skelett auch Tiefe und Gesicht.
Der lenkende Schritt ist oft wie ControlNet aufgebaut, eine Methode von 2023, die einem bereits trainierten Bildmodell räumliche Steuerungen wie Kanten, Tiefe und Körperhaltung hinzufügt. Die Pose bestimmt, wohin der Körper geht; alles andere zeichnet weiterhin das Modell.
Arten der Bewegungsübertragung
| Liest | Wird übernommen | |
|---|---|---|
| Ganzkörper-Posenübertragung | Das Skelett: Kopf, Schultern, Ellbogen, Hände, Hüften, Knie, Füße | Tänze, Gänge, Gesten und Kämpfe, samt ihrem Timing |
| Gesichts- und Mimikübertragung | Punkte im Gesicht: Augen, Brauen, Mund, die Kopfdrehung | Mimik, Blinzeln, Kopfbewegungen und Mundformen |
| Übertragung von Kamerabewegungen | Wie sich die Kamera durch die Szene bewegt hat | Eine Ranfahrt, eine Kreisfahrt oder ein Handkamera-Wackeln, keine Körperbewegung |
Bewegungsübertragung, Motion-Capture und Rotoskopie
| Ausgabe | Einsatz | |
|---|---|---|
| Bewegungsübertragung | Ein fertiges Video mit einer neuen Figur | Social Video, Werbung, schnelle Animation |
| Motion-Capture | Animationsdaten für ein 3D-Rig | Games, Filme, 3D-Figuren |
| Rotoskopie | Umrisse oder Zeichnungen, über Filmmaterial nachgezogen | Visuelle Effekte, handgezeichnete Animation |
Wofür Bewegungsübertragung genutzt wird
- Trends: ein Tanz, ausgeführt von einem Haustier, einer Cartoonfigur oder einer historischen Persönlichkeit.
- Maskottchen und Markenfiguren, die sich wie echte Moderatoren bewegen.
- Animation ohne Keyframes: Spiel die Bewegung mit dem Handy vor und übertrage sie auf eine Figur.
- Previsualisierung: eine Szene mit einem Stand-in stellen und sie dann mit der finalen Figur sehen.
Wo Bewegungsübertragung scheitert
- Hände und Finger: Klein und schnell, wie sie sind, werden sie oft falsch erkannt und erscheinen verschwommen oder überzählig.
- Überlappung: Arme, die den Körper kreuzen, oder zwei Personen, die sich berühren, bringen die Pose durcheinander.
- Sehr andere Körper: Ein menschlicher Tanz, übertragen auf eine Schlange oder ein Auto, findet keine Gelenke, auf die er sich abbilden lässt.
- Tempo: Bei sehr schnellen Bewegungen und Bewegungsunschärfe fehlen dem Skelett Frames.
- Konsistenz: Gesicht und Kleidung der neuen Figur können sich bei der Bewegung verändern; siehe zeitliche Konsistenz.
Warum hat Morph meinen Clip bearbeitet, statt seine Bewegungen zu übernehmen? Morph liest die Aufgabe aus deinen Worten: Ein Satz, der verlangt, dass jemand die Bewegungen macht, übernimmt oder ihnen folgt oder wie im Clip tanzt, erstellt ein neues Video auf seinen Bewegungen, und das tut auch ein Satz, der nur jemanden irgendwo beschreibt, etwa ‚ein Cartoon-Fuchs auf einer Waldlichtung‘. Ein Satz, der mit einem Verb der Veränderung beginnt, etwa ‚ersetze‘, ‚entferne‘ oder ‚verwandle‘, bearbeitet den Clip an Ort und Stelle, es sei denn, er lässt jemanden die Bewegungen machen. Hat Morph dich falsch verstanden, schalte vor dem Start auf „Bewegungen übernehmen“; der Composer sagt unter deinen Worten, welches von beiden er erstellen wird.
Nutze Darbietungen, die du selbst gefilmt hast oder für die du die Rechte hast, und lass keine echte Person ohne ihre Einwilligung etwas tun, das sie nie getan hat.
Bewegungsübertragung auf DreamBench
Wähle in Morph „Bewegung übertragen“, lade einen Clip von 4 bis 30 Sekunden hoch oder wähle eine Vorlage und markiere die Figur, die die Bewegung ausführen soll, mit einem Bild. Morph behält das Timing des Originals bei. Das ist eine der fünf Bearbeitungen, die Morph macht; die anderen findest du unter KI-Videobearbeitung.
| Grenze | Was das bedeutet | |
|---|---|---|
| Der Vorlageclip | Ein MP4-, MOV- oder WebM-Upload oder eine Vorlage; ein Fenster von 4 bis 30 Sekunden | Wähle den Teil mit den Bewegungen: Der Preis ist ein fester Grundbetrag plus ein Satz pro Sekunde des Fensters, angezeigt, bevor du startest. |
| Die Figur | Bis zu 4 Bilder, PNG, JPEG oder WebP, je 10 MB, in deinem Text als @Image1 bis @Image4 genannt | Ein klares Bild der Figur legt Gesicht, Körper und Kleidung fest; der Clip legt nur die Bewegung fest. |
| Echte Personen | Genau ein Foto, die Person, die die Bewegungen ausführt, mit gesetztem Häkchen, dass du es bist oder jemand, der zugestimmt hat | Das Foto, samt seinem eigenen Hintergrund, wird vom Clip über eine Route angetrieben, die Gesichter zulässt. |
| Die Worte | Bis zu 2000 Zeichen; ‚dieselben Bewegungen machen‘ oder ‚tanzt so wie hier‘ schalten Morph von selbst auf „Bewegungen übernehmen“ | Ein Satz, der nur die neue Figur beschreibt, ohne ein Verb der Veränderung, wird ebenfalls als Bewegungen gelesen; stell es selbst um, wenn Morph falsch geraten hat. |
| Ausgabe | Eine Vorschau in 480p, dann „In HD erstellen“ in 1080p oder 720p; der Ton des Originals bleibt | Ein Tanz bleibt auf seiner Musik; das 1080p-Rendering vollendet den Take der Vorschau, 720p rendert neu. |
Fragen
Ist Bewegungsübertragung ein Deepfake oder ein Face Swap?
Es kann ein Deepfake sein: Einen Cartoon oder deine eigene Figur zu bewegen ist keiner, aber eine echte Person ohne ihre Zustimmung etwas tun zu lassen, was sie nicht getan hat, schon, und das kann dort, wo du lebst, illegal sein. Es ist kein Face Swap: Ein Face Swap behält das Video und ändert, wem das Gesicht gehört, während Bewegungsübertragung nur die Bewegung behält und eine neue Figur generiert, Gesicht und Körper eingeschlossen.
Wie lasse ich eine Figur einen Tanz aus einem Video nachtanzen?
Damit eine Figur einen Tanz aus einem Video aufführt, nimm einen Clip mit einer Person ganz im Bild, 4 bis 30 Sekunden lang, mit ruhiger Kamera. Wähle in Morph „Bewegung übertragen“, lade den Clip hoch und markiere die Figur mit einem Bild. Morph behält das Timing des Originals und generiert die Figur, die ihn aufführt.
Brauche ich für Bewegungsübertragung ein 3D-Modell?
Nein. KI-Bewegungsübertragung arbeitet mit einem Video und einem Bild oder einer Beschreibung. Motion-Capture für 3D-Animation ist die Methode, die ein Rig braucht.
Welche Bewegungen lassen sich am zuverlässigsten übertragen?
Eine Person, ganz im Bild, in mäßigem Tempo bewegt, die Kamera weitgehend still: Tänze, Gänge und Gesten. Schnelle Drehungen, gekreuzte Gliedmaßen, Hände und zwei Menschen, die sich berühren, sind am wenigsten zuverlässig: Hände sind klein und schnell, das Pose-Modell liest sie also oft falsch, und das Videomodell verwischt Finger oder fügt welche hinzu; zwei Darsteller, die sich kreuzen oder berühren, verwirren die Pose-Erkennung, übertrage sie also nacheinander.
Kann ich jedes Video als Bewegungsreferenz nutzen?
Technisch funktionieren die meisten Clips, aber nutze nur Darbietungen, die du selbst gefilmt hast oder an denen du die Rechte hast. Morph nimmt einen Clip von 4 bis 30 Sekunden.
Was hat Bewegungsübertragung mit Figurenkonsistenz zu tun?
Bewegungsübertragung bestimmt, wie sich eine Figur bewegt; Figurenkonsistenz erhält, wie sie aussieht. Ein gutes Ergebnis braucht beides: die richtigen Bewegungen und dasselbe Gesicht und dieselbe Kleidung vom ersten bis zum letzten Frame.
Was macht ein gutes Vorlagevideo aus?
Eine Person, ganz im Bild, vor schlichtem Hintergrund, bei gleichmäßigem Licht, mit einer Kamera, die sich kaum bewegt. Klare, nicht zu schnelle Bewegungen lassen sich am besten übertragen.
Behält Bewegungsübertragung die Kamerabewegung?
Meistens, aber nicht immer. Die Beats und Posen werden übernommen; ein generatives Tool kann neu kadrieren, wie es die Kampf-Bearbeitung oben tut, indem sie die Kamera tiefer und näher setzt. Bitte darum, dass die Kamera wie gefilmt bleibt, wenn es darauf ankommt.
Kann ich die Bewegung eines Menschen auf ein Tier oder eine Cartoonfigur übertragen?
Ja, wenn der Körper Gliedmaßen hat, auf die sich das Skelett übertragen lässt: Der Kampf oben wird von drei Katzen aufgeführt. Eine Schlange oder ein Auto hat keine Gelenke, die die Pose aufnehmen könnten, das Ergebnis driftet also.
Kostet Bewegungsübertragung etwas?
Mehrere Tools bieten eine Testphase an. Auf DreamBench legst du ein kostenloses Konto an und wählst einen Tarif, und jede Morph-Bearbeitung verbraucht Credits daraus.
Kann ich mich selbst den Tanz aus einem Video tanzen lassen?
Ja. Um auf DreamBench selbst den Tanz aus einem Video zu tanzen, schalte in Morph „Echte Personen“ ein, füge genau ein Foto hinzu, das der Person, die die Bewegungen ausführt, und setz das Häkchen, dass du es bist oder jemand, der die Erlaubnis gegeben hat. Das Foto, samt seinem eigenen Hintergrund, wird vom Clip über eine Route angetrieben, die Gesichter zulässt; standardmäßig lehnt Morph ein echtes Gesicht ab. Nutze nur dein eigenes Gesicht oder eines, für das du die Erlaubnis hast.
Behält Bewegungsübertragung den Ton des Originalvideos?
Bewegungsübertragung behält auf DreamBench den Ton des Originalvideos: Der eigene Ton des Clips wird am Ende unter das neue Video gelegt, der Schritt, der als „Ton wird hinzugefügt“ angezeigt wird, sodass ein Tanz auf seiner Musik bleibt und ein Satz weiterhin dort zu hören ist, wo er gesprochen wurde. Der Schalter „Ton des Clips behalten“ ist standardmäßig an; schalte ihn aus, um in einem Editor deine eigene Tonspur hinzuzufügen. Verwende nur Musik, die du posten darfst.
Warum verändert sich das Gesicht meiner Figur während des Tanzes?
Das Gesicht deiner Figur verändert sich während des Tanzes, weil jedes Frame der neuen Figur generiert wird, wobei das Skelett nur festlegt, wo der Körper hingeht; das Gesicht wird in jedem Frame aus deinem Bild und dem Gedächtnis des Modells neu gezeichnet, und schnelle Drehungen, Hände vor dem Gesicht und lange Clips geben ihm mehr Gelegenheit zu driften. Nimm ein klares, gut ausgeleuchtetes Bild der Figur, wähle einen Teil des Clips mit langsameren Bewegungen, halte den gewählten Ausschnitt kurz und rendere die Fassung, die du behältst, in HD.
Passend dazu
Begriffe
Quellen
- Everybody Dance NowarXiv, abgerufen am
- Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character AnimationarXiv, abgerufen am
- Adding Conditional Control to Text-to-Image Diffusion ModelsarXiv, abgerufen am
DreamBench ist eine unabhängige Plattform, die mit den auf dieser Seite genannten Unternehmen nicht verbunden ist und von ihnen nicht unterstützt wird.