Was ist zeitliche Konsistenz bei KI-Video?

Eine Kamera nimmt eine einzige Welt auf, daher stimmen ihre Frames von Natur aus überein. Ein Modell generiert jedes Frame einzeln, und nichts an der Physik des Vorgangs zwingt Frame 90, zu Frame 1 zu passen. Konsistenz muss erlernt werden.

Heutige Videomodelle schaffen viel davon, indem sie alle Frames gemeinsam generieren: Ihre Attention lässt jeden Teil jedes Frames auf jeden anderen schauen, über Raum und Zeit hinweg. Ältere Methoden, die Frame für Frame generierten oder bearbeiteten, flackerten genau deshalb stark. Je länger der Clip, desto mehr muss zusammengehalten werden – ein Grund, warum die meisten Modelle Clips von Sekunden statt Minuten erzeugen.

Modelle, die einen Clip Stück für Stück verlängern oder ihn Frame für Frame generieren, sehen nur einen Teil dessen, was vorher kam. An jedem Übergang summiert sich das Abdriften.

Unter der Haube: ein Clip, eine gemeinsame Ansicht

Der Bericht zum offenen Wan-Modell beschreibt den üblichen Aufbau. Ein Video-Encoder komprimiert den Clip zeitlich um das 4-Fache und räumlich in jeder Richtung um das 8-Fache, und ein Diffusion Transformer verarbeitet den ganzen komprimierten Clip auf einmal, sodass jedes Frame mit Blick auf alle anderen generiert wird.

Forschende messen das Ergebnis. Benchmarks wie VBench zerlegen die Videoqualität in einzelne Werte, darunter zeitliches Flackern und das Beibehalten der Identität eines Motivs.

Das härteste Briefing für Konsistenz verändert alles um ein Motiv herum und verlangt zugleich, dass das Motiv genau gleich bleibt. Dieses hier, erstellt auf DreamBench mit Seedance 2.5, hält eine Tänzerin in einer durchgehenden 15-Sekunden-Kreisfahrt, während die Bühne zu einem Wald und dann zu einem Pool wird.

• Prüfe das Motiv in den Momenten des Wechsels: an den Übergängen, wo eine Szene zur nächsten wird.
• Halte bei den Händen und dem Rand des Stoffs an: An feinen, schnell bewegten Details zeigt sich Drift zuerst.
• Vergleiche das erste und das letzte Frame nebeneinander: Langsame Drift ist in Bewegung unsichtbar und in Standbildern offensichtlich.

• Gib dem Modell ein Bild: Bild-zu-Video legt das erste Frame fest, es muss also weniger erfunden werden.
• Nutze Referenzbilder einer Figur oder eines Produkts in jeder Einstellung, in der sie vorkommen.
• Verlange weniger Bewegung: Langsame Kamerafahrten und einfache Handlungen halten besser zusammen als Reißschwenks und Kämpfe.
• Halte Clips kurz und schneide zwischen ihnen, wie Filme es tun, statt alles in einer langen Einstellung zu zeigen.
• Beschreibe dieselbe Figur in jedem Prompt mit denselben Worten.
• Vermeide unruhige Muster, kleinen Text und Menschenmengen, wo es geht.

Wenn du ein echtes Video mit KI bearbeitest, ist das Originalmaterial bereits konsistent; das Risiko ist, dass die Änderung es nicht ist. Ein ausgetauschtes Gesicht, das verrutscht, ein entferntes Objekt, das geisterhaft zurückkehrt, oder eine Neugestaltung, die von Frame zu Frame brodelt, sind alles Fehler der zeitlichen Konsistenz in der Bearbeitung.

Warum brodelt oder flimmert mein neu gestaltetes Video? Eine Neugestaltung behält Umrisse, Tiefe und Bewegung jedes Frames und malt ihre Oberfläche neu, und die Oberfläche ist das, was in jedem Frame leicht anders neu generiert wird: Korn, Pinselstriche und feine Muster schwimmen, während die Formen halten. Verlange einen flacheren Stil mit weniger Textur, halte den Clip kurz und vergleiche das Ergebnis mit dem Original, bevor du es verwendest; das Originalmaterial war ruhig, jedes Flimmern stammt also aus der Bearbeitung. Ein entferntes Objekt, das geisterhaft zurückkehrt, ist derselbe Fehler in einem gefüllten Bereich.

DreamBench schreibt jede Einstellung eines Films mit derselben Beschreibung jeder Figur, und die Bilder, die du hinzufügst, werden mit jeder Einstellung, die sie braucht, als Referenz mitgeschickt. In Morph bleiben Bewegung und Timing des Originalclips erhalten, sodass die Bearbeitung dem Filmmaterial folgt.