Was ist Text-zu-Video?

Text zu Video funktioniert, indem ein Modell mit sehr vielen Clips samt Beschreibungen trainiert wird, sodass es lernt, welche Worte zu welchen Bildern und Bewegungen gehören. Zum Generieren kodiert es deinen Prompt, beginnt mit zufälligem Rauschen in der Größe eines ganzen Clips und entfernt das Rauschen Schritt für Schritt, bis Frames übrig bleiben, die zu den Worten passen.

Weil nur die Worte es einschränken, hat ein Text-zu-Video-Modell von allen Modi die meiste Freiheit – das ist zugleich seine Stärke und seine Schwäche: Zwei Durchläufe mit demselben Prompt ergeben zwei verschiedene Clips. Die Pipeline im Detail erklärt KI-Videogenerierung.

Manche Tools, die als Text zu Video verkauft werden, generieren kein Filmmaterial. Sie nehmen ein Skript, suchen passende Stock-Clips heraus und fügen eine KI-Stimme und Untertitel hinzu. Text zu Sprache ist noch enger: Es macht aus einem Skript eine Stimme, ganz ohne Bild. Ein Text-zu-Video-Modell arbeitet anders: Es generiert jedes Frame, nichts, was du siehst, wurde also gefilmt.

Wenn du schon ein Bild davon hast, wie der Clip aussehen soll, starte stattdessen damit: Bild-zu-Video behält dein Bild als erstes Frame und generiert die Bewegung.

Ein Prompt-Generator ist noch einmal etwas anderes: Er schreibt den Prompt und generiert kein Video. Der KI-Video-Prompt-Generator macht aus ein paar Angaben eine Beschreibung der Einstellung in der Reihenfolge, in der ein Modell sie liest, mit Presets für Veo 3.1, Seedance 2.5 und Kling 3.0; den Clip macht weiterhin ein Videomodell.

Videomodelle lesen einen Prompt wie eine Einstellungsbeschreibung. Je klarer jeder Teil, desto weniger muss das Modell raten. Eine sinnvolle Reihenfolge:

• Eine Einstellung pro Prompt: Ein Modell erzeugt eine durchgehende Einstellung, also beschreibe eine Kameraposition und eine Handlung.
• Beschreibe, was du sehen willst, nicht, was du nicht willst: „eine leere Straße“ funktioniert besser als „keine Menschen“.
• Nenne die Kamerabewegung, sonst wählt das Modell eine.
• Halte Text im Bild kurz oder lass ihn weg und füge ihn danach hinzu.

Dieser Clip wurde auf DreamBench aus dem Briefing darunter erstellt, auf Veo 3.1 in 1080p mit Ton. Es ist ein gutes Briefing, weil jeder Satz dem Modell etwas zum Zeigen gibt und nichts, was es nicht zeigen kann.

Die zitierten Worte sind das Briefing, wie es geschrieben wurde, auf Englisch: Ein Prompt funktioniert in jeder Sprache, die das Modell versteht.

Die meisten schwachen Prompts sind kurz, nicht falsch. Jeder Schritt unten fügt eine Art von Information hinzu und nimmt dem Modell eine Entscheidung ab, die es sonst zufällig treffen würde.

Ein Briefing kann eine einzige durchgehende Einstellung, eine langsame Kamerabewegung und einen gesprochenen Satz verlangen, sogar in einer anderen Sprache. Diese 30-Sekunden-Aufnahme auf Seedance 2.5 wurde als eine durchgehende Einstellung von der Kelle bis zum Lächeln geschrieben, mit dem Satz des Kochs auf Japanisch.

• Stimmungsfilme und Konzeptfilme, um eine Idee auszuprobieren, bevor du Geld in einen Dreh steckst.
• B-Roll: Stadtansichten, Natur, Texturen und Menschenmengen als Zwischenschnitte zwischen anderen Einstellungen.
• Social-Clips rund um ein einziges markantes Bild oder einen markanten Moment.
• Bewegte Storyboards, damit Regie und Kunde dieselbe Szene sehen.
• Hintergründe und Loops für Präsentationen, Musik und Live-Events.

Jedes Videomodell auf DreamBench macht Videos aus Text. Sie unterscheiden sich im Ton, darin, ob sie auch ein Endbild annehmen, und darin, wie scharf sie rendern:

Kein Modell passt zu jedem Briefing. Die Seite jedes Modells in der Modellliste nennt seine Optionen für Länge, Auflösung und Ton; teste ein Briefing auf zweien und vergleiche.

• Eine bestimmte Person, ein Produkt oder ein Logo kann es aus Worten allein nicht kennen; nutz dafür ein Referenzbild, wie es Referenz-zu-Video tut, und behalte es in jeder Einstellung für eine konsistente Figur.
• Schilder und Beschriftungen sind oft falsch geschrieben.
• Komplexe Handlungen mit mehreren Schritten werden verkürzt, zusammengelegt oder umgestellt.
• An Menschenmengen, Händen und Dingen, die sich berühren, zeigen sich Fehler zuerst.
• Clips flackern oder driften, wenn das Modell ein Detail aus den Augen verliert: ein Versagen der zeitlichen Konsistenz.

Warum endet mein Clip, bevor die Handlung fertig ist? Die Länge des Clips steht fest, bevor das Modell den Prompt liest, die Handlung wird also hineingepasst: Eine Handlung, die länger braucht, wird verkürzt, verliert Schritte oder endet mitten in der Bewegung. Schreib eine Handlung, die in die bestellten Sekunden passt, oder bestelle einen längeren Clip; die Umschreibtabelle oben behält aus diesem Grund eine Handlung pro Einstellung.

Auf DreamBench schreibst du nicht jeden Prompt selbst. Du beschreibst den Film, und DreamBench schreibt die Shotlist und für jeden Clip einen vollständigen Prompt mit Kamera, Licht, Handlung und Ton und rendert die Clips dann mit dem Modell deiner Wahl, etwa Seedance 2.5, Veo 3.1 oder Kling 3.0. Füge Bilder einer Figur oder eines Produkts hinzu, und sie werden in jeder Einstellung als Referenz verwendet.