Was ist Referenz-zu-Video?

Bei Referenz-zu-Video liest das Modell deine Bilder, während es generiert, ohne eines davon in den Clip zu setzen. Jedes Bild sagt, wie etwas aussieht; der Prompt sagt, was passiert. Das Modell generiert dann jeden Frame aus Rauschen, wie bei Text-zu-Video, und hält dabei die Gesichter, Formen und Farben, die es gezeigt bekommen hat.

Das ist der Unterschied zu Bild-zu-Video, wo dein Bild der erste Frame ist und die Kamera genau dort beginnt. Mit Referenzen wählt das Modell den Anfang, sodass eine Nahaufnahme, eine Totale und ein Gegenschuss alle dieselbe Person zeigen können. Es ist der häufigste Weg zu einer konsistenten Figur über die Einstellungen eines Films.

Unter der Haube: wohin die Referenzbilder gehen

Das offene Modell VACE, das die Aufgabe R2V nennt, dokumentiert einen Aufbau. Jedes Referenzbild wird vom selben Encoder komprimiert wie das Video und vor die Frames des Clips gesetzt, als Frame markiert, der bleibt. Das Modell generiert den Clip daneben, und die Referenz-Frames werden nach dem Dekodieren abgeschnitten.

Weil die Referenzen in derselben Sequenz liegen wie die Frames, sorgt dieselbe Attention, die Frame 10 mit Frame 11 übereinstimmen lässt, auch dafür, dass beide mit deinem Bild übereinstimmen. Nichts in der Methode kopiert Pose oder Hintergrund des Bildes: Das Modell lernt aus Trainingspaaren, welche Teile es behält.

Das Paper zu Phantom benennt die Balance, von der die Aufgabe abhängt: Text und Bilder steuern gemeinsam. Wiegen die Bilder zu schwer, sickert ihr Inhalt ein, etwa die Pose, der Hintergrund oder das Licht des Fotos; bei mehreren Motiven kann das Modell sie verwechseln.

So schreibst du einen Prompt für Referenz-zu-Video

• Benenne jede Referenz und nenne sie dort, wo sie handelt: „@mia hebt @lamp aus dem Regal“ sagt dem Modell, welches Bild welche Rolle spielt.
• Beschreibe Handlung, Kamera und Licht, nicht das Aussehen des Motivs: Das liefert schon das Bild, und eine zweite Beschreibung kann ihm widersprechen.
• Gib jedem Bild eine Aufgabe. Das Foto einer Frau, die eine Lampe hält, sind zwei Motive in einem Bild; schneide es zu, sonst hält das Modell sie womöglich zusammen.
• Sag, wo die Einstellung spielt, auch mit einer Schauplatz-Referenz, damit das Modell weiß, dass es der Schauplatz ist und kein Hintergrund zum Einfügen.

Alle drei nehmen Bilder, und sie nutzen sie auf unterschiedliche Weise. Die Frage ist, ob dein Bild ein Frame des Clips sein soll oder die Beschreibung von etwas darin.

Was soll ich nehmen? Wenn der Clip mit einem Frame beginnen muss, den du hast, nimm Bild-zu-Video. Wenn du dasselbe Gesicht oder Produkt in Einstellungen brauchst, die jeweils woanders beginnen, nimm Referenzen: Die Kamera kann überall beginnen.

Eine Referenz ist nur so nützlich wie das, was sie deutlich zeigt. DreamBench bittet dich, jedes Bild als eine von vier Arten zu taggen, weil jede dem Modell etwas anderes sagt:

Ein Produkt zählt als Requisite. Ein Logo auch, wobei seine Buchstaben das Detail sind, das Modelle am schlechtesten halten.

Referenzen steuern Bearbeitungen genauso wie neue Einstellungen. In dieser Morph-Bearbeitung nennen die Worte die Charakterblätter dreier Katzen, ein Wohnzimmer und dessen Grundriss beim Namen, und der Clip behält seinen Tanz, während sich Katzen und Raum ändern.

Original

Mit Morph

Ändere den Hintergrund zu @livingroom, angeordnet wie in @floorplan, aber tausche die 3 Katzen gegen @yickshuncat, @oreo und @mango.

Das ist Video-zu-Video mit Referenzen statt Referenz-zu-Video, denn die Bewegung kommt aus einem echten Clip. Die Referenzen erfüllen in beiden dieselbe Aufgabe: Sie sagen, wer und was zu sehen ist, und sonst nichts.

Jeder Modellhersteller benennt die Funktion auf seine Weise, und jeder setzt seine eigene Grenze für Bilder. Das stand auf ihren offiziellen Seiten, als wir sie gelesen haben:

• Kurzfilme und Serien, in denen in jeder Szene dieselben Figuren vorkommen.
• Produktanzeigen: ein Produktfoto, viele Einstellungen davon im Einsatz, sein Etikett erhalten.
• Maskottchen und Markenfiguren, die in jedem Beitrag gleich aussehen müssen.
• Ein Haustier, ein Spielzeug oder eine gezeichnete Figur in neue Szenen setzen.
• Einen Schauplatz, einen Laden oder eine Wohnung, durch alle Einstellungen halten, die dort spielen.
• Storyboards, die sich bewegen, mit einer Besetzung, die schon wie besetzt aussieht.

• Kopieren und Einfügen: Pose, Hintergrund oder Licht der Referenz kommen komplett durch, sodass jede Einstellung wie das Foto aussieht. Ein schlichter Hintergrund und gleichmäßiges Licht helfen.
• Verwechselte Motive: Zwei Personen mit ähnlicher Statur und Färbung können Gesichter oder Kleidung tauschen. Mach sie unterschiedlich und nenne jede beim Namen, wo sie handelt.
• Feine Details: Kleiner Text auf einem Etikett, die Buchstaben eines Logos und gemusterter Stoff werden schlechter gehalten als Formen und Farben.
• Unsichtbare Seiten: Eine Referenz, die ein Gesicht von vorn zeigt, überlässt den Hinterkopf dem Modell. Ein Blatt mit mehreren Ansichten gibt ihm mehr zum Halten.
• Zu viele Bilder: Jedes Modell nimmt pro Clip nur eine bestimmte Zahl an, und darüber hinaus fallen manche weg.
• Drift über die Zeit: Eine lange oder unruhige Einstellung kann trotzdem ein Detail verlieren, ein Versagen der zeitlichen Konsistenz.

Warum sieht meine Figur nicht aus wie meine Referenz? Meist zeigt das Bild zu viel auf einmal: ein kleines Gesicht, hartes Licht, andere Personen oder einen unruhigen Hintergrund. Nimm ein scharfes Bild des Motivs allein, beschreibe sein Aussehen im Prompt nicht noch einmal und halte die Einstellung kurz.

Eine Referenz einer echten Person kann sie in eine Szene setzen, in der sie nie war. Verwende dein eigenes Gesicht oder das von jemandem, der dieser Verwendung zugestimmt hat, und kennzeichne ein Video, das für echte Aufnahmen gehalten werden könnte.

• Die Nutzungsbedingungen von DreamBench verlangen eine informierte Einwilligung, bevor das Abbild oder die Stimme einer echten Person mit KI dargestellt wird, und verbieten nicht autorisierte Darstellungen echter Personen, Identitätsanmaßung und falsche Empfehlungen.
• Jedes hochgeladene Bild wird geprüft, bevor Credits verbraucht werden: Nacktheit, Gewaltdarstellungen und Selbstverletzung werden abgelehnt, ebenso eine fotorealistische Person, die unter 18 zu sein scheint.
• Seedance nimmt keine echten menschlichen Gesichter an. Eine Referenz, die eines zeigt, wird abgelehnt; DreamBench sagt dir das und schlägt für diese Szenen ein anderes Videomodell vor.
• Modellhersteller setzen eigene Regeln: Die Subject Reference von MiniMax etwa nimmt ein einzelnes Bild vom Gesicht einer Person.

Jedes Videomodell auf DreamBench nutzt deine Referenzen. Bei vier davon gehen die Bilder mit jedem Clip an das Videomodell. Bei den übrigen zeichnet zuerst ein Bildmodell daraus das Startbild des Clips, und das Videomodell animiert dieses Bild:

Wenn das Modell eines Clips weniger Bilder annimmt, als seine Szene hat, bleiben deine eigenen Uploads zuerst erhalten. Seedance 2.5 nimmt die meisten an, Veo 3.1 die wenigsten; eine Szene mit vielen Personen und Requisiten passt also besser zu Seedance, sofern keines davon ein echtes Gesicht ist.

Im Composer beschreibst du den Film und fügst bis zu 8 Referenzbilder hinzu. Jedes bekommt einen Namen und einen Tag: Figur, Kreatur, Schauplatz oder Requisite. Der Name wird zu seinem Handle, sodass das Briefing ihn nennen kann, etwa „@mia öffnet die Kiste und holt @lamp heraus“; tippst du @ ins Briefing, erscheinen die Handles.

DreamBench zeichnet dann ein Referenzblatt für jede Figur, jeden Ort und jede Requisite, die der Film braucht. Ein Blatt aus deinem Bild wird genau von dem Motiv gezeichnet, das es zeigt, und ein Bild, dessen Name sagt, dass es ein Blatt ist, wird so verwendet, wie es ist.

• Ein Charakterblatt: das Gesicht in Nahaufnahme, der ganze Körper von vorn und hinten und eine Dreiviertelansicht, in jedem Feld dasselbe Gesicht, auf schlichtem Grau.
• Ein Requisitenblatt: das Objekt von vorn und in Dreiviertelansicht.
• Ein Schauplatzblatt: der Ort allein, ohne Personen und Requisiten, damit keine davon daraus kopiert werden.

Jeder Clip trägt die Blätter dessen, was darin vorkommt, und DreamBench schreibt die Prompts der Einstellungen, die sie nennen. In „Szenen bearbeiten“ zeigt jede Szene ihre Referenzen: Entferne eine, füge ein anderes Blatt des Films hinzu oder lade dein eigenes hoch, bis zu so vielen, wie das Modell dieser Szene annimmt.

Du kannst auch mit einem Tool beginnen. Nachdem das Tool Produktfoto in Video umwandeln einen Clip erstellt hat, öffnet „Als Geschichte fortsetzen“ den Composer mit deinem Foto als Referenz @product und einem Briefing, das es nennt.

Die ersten 4 Referenzbilder sind im Grundpreis eines Videos enthalten, und jedes weitere kostet zusätzlich den Preis des Blatts, das es braucht. Ein Blatt, das du aus einem früheren Film auswählst, kostet nichts extra, da es so verwendet wird, wie es ist. Der Composer zeigt die Summe in Credits, bevor du generierst.