Was ist Figurenkonsistenz bei KI-Videos?

Ein Videomodell macht einen Film Einstellung für Einstellung, und nichts geht von Einstellung 4 auf Einstellung 5 über, wenn du es nicht weitergibst: Das Modell beginnt wieder bei Rauschen und erfindet, was der Prompt offenlässt. Schreib zweimal „eine Frau mit kurzen blonden Haaren“, und du bekommst zwei verschiedene Frauen.

Konsistenz entsteht also aus dem, was jede Einstellung mitbekommt. Dieselben Worte helfen. Ein Bild hilft mehr, denn ein Gesicht lässt sich leichter zeigen als beschreiben: Modelle, die eines annehmen, der Modus namens Referenz-zu-Video, halten Gesicht, Haare und Farben, die sie sehen. Ein Charakterblatt, die Figur von vorn, von der Seite und von hinten, hilft am meisten, weil es sie auch umgedreht zeigt.

Eine Einstellung mit einem Bild der Figur zu beginnen, wie es Bild-zu-Video tut, funktioniert auch: Der erste Frame ist festgelegt, und je weiter sich die Einstellung davon entfernt, desto mehr wird wieder erfunden.

Unter der Haube: Referenzen, Identitäts-Embeddings und Seeds

Ein Referenzbild erreicht das Modell über Attention, denselben Mechanismus, den der Text nutzt. IP-Adapter fügt ein Bild als Prompt über eigene Cross-Attention-Schichten hinzu, getrennt von denen des Textes, in einem Adapter mit etwa 22 Millionen Parametern, während das Modell selbst unverändert bleibt.

Identitätsmethoden gehen weiter und kodieren das Gesicht selbst. InstantID arbeitet mit einem einzigen Foto eines Gesichts: Ein separates Netz steuert die Generierung mit den Merkmalen und Landmarken dieses Gesichts, sodass die Person erkennbar bleibt, während sich Stil und Pose ändern. Dieses kodierte Gesicht ist ein Identitäts-Embedding.

Der älteste Weg ist, dem Modell die Figur beizubringen. DreamBooth feintunt ein Modell mit wenigen Bildern eines Motivs, bis es ein eindeutiges Wort daran bindet, und generiert dieses Motiv dann in neuen Szenen, Posen, Ansichten und Lichtverhältnissen. LoRA, zuerst für Sprachmodelle veröffentlicht, macht ein solches Feintuning leicht: Die eigenen Gewichte des Modells bleiben eingefroren, und nur kleine zusätzliche Matrizen werden trainiert. Beides braucht ein Modell, dessen Gewichte du trainieren kannst.

Eine andere Idee ist, die Bilder gemeinsam zu generieren. StoryDiffusion teilt Attention über einen Stapel von Bildern, ohne Training, sodass ein Motiv über eine Serie übereinstimmt; Videomodelle mit mehreren Einstellungen halten eine Besetzung auf ähnliche Weise über ihre eigenen Schnitte, aber nur innerhalb einer Generierung.

Warum trägt der Seed die Figur nicht? Ein Seed legt das Ausgangsrauschen fest, sodass derselbe Seed mit demselben Prompt, derselben Länge, demselben Format und demselben Modell denselben Clip wiederholt. Eine neue Einstellung ändert mindestens eines davon, dasselbe Rauschen wird neu gelesen, und das letzte Gesicht ist nirgends gespeichert.

Beide enden in einem Gesicht, das sich verändert, deshalb verwechselt man sie leicht. Zeitliche Konsistenz gilt innerhalb eines Clips: Stimmt Frame 90 mit Frame 1 überein? Figurenkonsistenz gilt über Clips hinweg: Ist die Frau in der Küche in Einstellung 2 dieselbe Frau wie die im Zug in Einstellung 9? Ein stabiler Clip kann trotzdem die falsche Person zeigen.

Start- und Endbild kann den letzten Frame einer Einstellung zum ersten Frame der nächsten machen: Der Übergang ist fließend, aber Einstellung 12 weiß trotzdem nichts von Einstellung 3.

Jeder Modellhersteller hat seinen eigenen Weg. Googles Leitfaden zu Vertex AI nimmt für Veo 3.1 bis zu drei Bilder einer einzelnen Person, Figur oder eines Produkts und sagt, dass Veo das Aussehen des Motivs im Video bewahrt; beim Standardmodell ist ein Clip mit Motivbildern 8 Sekunden lang.

Kling baut Figuren als Elements. Sein Leitfaden zur Element Library verlangt zwei bis vier Bilder pro Element, ein Hauptbild und bis zu drei aus anderen Blickwinkeln, empfiehlt ein frontales Hauptbild und sagt, dass Kling 3.0 bis zu drei Elements an ein Startbild bindet.

Seedance nimmt viele Referenzen auf einmal, mit einer Regel, auf die es hier ankommt: Das Tutorial zur Seedance-2.0-Serie von BytePlus sagt, dass diese Modelle keine Referenzbilder oder -videos annehmen, die direkt echte menschliche Gesichter enthalten, und bietet stattdessen eigene digitale Figuren und autorisierte Assets echter Personen an.

Ein Modell kopiert, was eine Referenz zeigt, ob gewollt oder nicht; ein gutes Blatt ist also absichtlich schlicht:

• Dasselbe Gesicht und dieselben Haare in jeder Ansicht, vorn, seitlich und hinten, die Haut in jeder im selben Ton.
• Eine Figur pro Blatt: Ein zweites Gesicht ist eine zweite Identität, bei der sich das Modell bedienen kann.
• Ein schlichter Grund ohne Schlagschatten oder Farbstich, die sonst in jeder Einstellung auftauchen würden.
• Kein Text, keine Beschriftungen oder Zahlen, die ein Modell in die Einstellung schreiben könnte.
• Eine klare Vorderansicht als Hauptbild, wie Kling empfiehlt, mit dem ganzen Outfit sichtbar.
• Orte auf eigenen Blättern, ohne Figuren.

Warum ändert sich meine Figur mitten in einer Einstellung? Das ist Drift innerhalb des Clips, ein Versagen der zeitlichen Konsistenz: Eine kürzere Einstellung, weniger Bewegung und ein Schnitt vor einer großen Drehung helfen mehr als eine neue Referenz.

• Erstelle die Figur einmal, als Blatt, vor jeder Einstellung.
• Gib dieses Blatt jeder Einstellung mit, in der sie vorkommt, oder beginne jede Einstellung mit einem Bild, das daraus gemacht ist.
• Schreib ihre wenigen prägenden Details in jedem Prompt Wort für Wort.
• Nimm für den ganzen Film nach Möglichkeit ein Modell: Jedes liest eine Referenz auf seine eigene Weise.
• Vergleiche Standbilder aus verschiedenen Einstellungen nebeneinander: Eine Veränderung, die dir in Bewegung entgeht, ist in Standbildern deutlich.

Ein Referenzbild einer echten Person ist ihr Abbild. Verwende dein eigenes oder eines von jemandem, der dir die Erlaubnis gegeben hat, und sag, dass das Video mit KI erstellt ist, wenn es für echte Aufnahmen gehalten werden könnte. Manche Modelle, darunter Seedance 2.0, lehnen echte Gesichter grundsätzlich ab.

Auf DreamBench werden hochgeladene Bilder geprüft, bevor ein Credit verbraucht wird, und ein Bild, das eine echte Person unter 18 zu zeigen scheint, wird abgelehnt: Die Nutzungsbedingungen erlauben keine Uploads oder Darstellungen echter Personen unter 18. In Morph wird ein Video mit echten Personen erst erstellt, nachdem du bestätigt hast, dass du es bist oder Personen, die ihre Erlaubnis gegeben haben.

Wenn du einen Film beschreibst, schreibt DreamBench das Drehbuch und zeichnet dann die Besetzung, bevor eine einzige Einstellung gerendert wird: jede Figur, jeden Ort und jede Requisite einmal, als Blatt, in jeder Einstellung gleich. Füg unter „Wer ist zu sehen?“ ein Bild hinzu, getaggt als Figur, Kreatur, Schauplatz oder Requisite, und das Blatt wird aus deinem Bild gezeichnet, mit dem Motiv allein, ohne sein Licht oder seinen Hintergrund; ein Blatt, das du schon gemacht hast, wird so verwendet, wie es ist.

Bevor ein Blatt gezeichnet wird, bekommt jede Figur und jede Requisite eine Identitätssperre: Gesicht, Profil, Körper und Größe, für die ganze Besetzung auf einmal geschrieben, damit keine zwei Figuren ein Gesicht teilen. Eine kurze Zeile mit Merkmalen daraus wird Wort für Wort in jede Einstellung geschrieben, in der die Figur vorkommt, zusammen mit der Stimme der Figur bei Modellen, die Ton erzeugen, und der Zahl der Personen im Bild.

Wie ein Blatt in eine Einstellung gelangt, hängt vom Modell ab. Bei Seedance 2.5, Seedance 2.0, Veo 3.1 und Vidu Q2 gehen die Blätter als Referenzbilder mit jeder Einstellung mit. Bei den anderen Modellen, darunter Veo 3.1 Fast und Lite sowie Kling 3.0, zeichnet DreamBench zuerst aus den Blättern der Einstellung ein Startbild, und die Einstellung beginnt mit diesem Bild.

Eine Veränderung, die die Geschichte braucht, etwa eine vom Regen durchnässte Figur, wird als Variante auf ihrem eigenen Blatt gezeichnet. Wenn du die Prüfung wählst, lernst du die Besetzung kennen, bevor irgendetwas gedreht wird, und kannst jedes Blatt neu zeichnen lassen, auch aus einem eigenen Bild. Eine Einstellung, die dann noch nicht passt, wird mit einer Notiz neu gedreht, die sagt, was zu korrigieren ist.

Original

Mit Morph

Ändere den Hintergrund zu @livingroom, angeordnet wie in @floorplan, aber tausche die 3 Katzen gegen @yickshuncat, @oreo und @mango.