Was ist natives Audio im KI-Video?

Ein Modell mit nativem Audio wird mit Clips samt ihrer Tonspur trainiert, also lernt es, dass eine Tür mit einem Knall zufällt, eine belebte Straße summt und Lippen sich mit den Worten bewegen, die sie sprechen. Beim Generieren erzeugt es Frames und Ton gemeinsam, beide vom selben Prompt gesteuert und auf derselben Zeitleiste, sodass jedes Geräusch auf dem Frame beginnt, der es auslöst.

Der ältere Weg, immer noch verbreitet, erzeugt erst einen stummen Clip und gibt ihm danach Ton: eine Stimme von einem Text-to-Speech-Modell, Effekte von einem Tonmodell, das den Clip ansieht, Musik, die im Schnittprogramm ausgewählt wird. Jeder Schritt ist getrennt, also muss jeder von Hand oder von einem weiteren Modell mit dem Bild abgestimmt werden. Google beschreibt Veo 3.1 so, dass es seinen gesamten Ton nativ generiert, und ByteDance nennt Seedance 2.5 ein Modell für die gemeinsame Generierung von Audio und Video.

Unter der Haube: zwei Ströme, die aufeinander hören

Veröffentlichte gemeinsame Modelle lassen zwei Generatoren nebeneinander laufen, einen für das Bild und einen für den Ton, und lassen sie bei jedem Schritt Informationen austauschen. MM-Diffusion (2022) war ein früher Entwurf: zwei Teilnetze, die gemeinsam Rauschen in einen passenden Clip und eine passende Tonspur verwandeln. Ovi (2025) verbindet zwei Transformer-Türme Block für Block und teilt Timing und Bedeutung zwischen ihnen, was laut seinen Autoren Synchronität ohne einen separaten Abgleichschritt ergibt.

Das LTX-2-Paper (2026) von Lightricks, den Machern von LTX-2.3, legt dieselbe Idee im großen Maßstab dar: ein Videostrom mit 14 Milliarden Parametern und ein Audiostrom mit 5 Milliarden Parametern, verbunden durch Attention in beide Richtungen, mit Sprache, Hintergrundgeräuschen und Foley, und mit veröffentlichten Gewichten. Der andere Weg, Ton nach dem Bild, wird ebenfalls weiter erforscht: MMAudio nimmt ein fertiges Video, optional mit Text, und generiert Ton, der Frame für Frame darauf abgestimmt ist.

Die Tonspur eines Clips besteht aus Ebenen, und ein Prompt funktioniert am besten, wenn er jede gewünschte Ebene benennt. Googles Empfehlung für Veo 3.1 lautet, klar zu sagen, ob du Ton willst, und ihn in eigenen Sätzen zu beschreiben; sein Prompting-Leitfaden kennzeichnet Effekte mit „SFX:“ und den Hintergrund mit „Ambient noise:“.

Atmosphäre und Effekte gelingen Videomodellen am zuverlässigsten: Der Klang eines Orts ist lang und verzeiht viel, und ein Effekt muss nur auf einen Frame fallen. Sprache ist die schwierigste Ebene, weil jede Silbe zu einem Mund passen muss.

Natives Audio ist einer von mehreren Wegen, einem Video Ton zu geben:

Der Unterschied zu Lip Sync ist die Reihenfolge. Lip Sync geht von einer Stimme aus und ändert das Bild passend dazu; natives Audio erzeugt die Stimme und den sich bewegenden Mund gleichzeitig, aus den Worten des Prompts, sodass keins von beiden an das andere angepasst wird.

Dialog wird in den Prompt geschrieben, nicht aufgenommen. Diese 30-Sekunden-Aufnahme entstand auf DreamBench mit Seedance 2.5 bei eingeschaltetem Ton; das Briefing ist auf Englisch, und der eine Satz des Kochs ist auf Japanisch, in japanischer Schrift zitiert, mit seiner Bedeutung daneben.

• Setze den Satz in Anführungszeichen direkt hinter die Person, die ihn sagt, damit die Stimme zu jemandem im Bild gehört.
• Sag, wie er gesagt wird: leise, außer Atem, lachend. Die Art des Sprechens gehört zum Satz.
• Nenne die Sprache, wenn sie nicht die Sprache des Briefings ist, und schreib die Worte in dieser Sprache.
• Halte es kurz: Ein oder zwei kurze Sätze passen in einen 8-Sekunden-Clip, eine Rede nicht.
• Eine Person spricht zur Zeit. Wenn zwei Menschen durcheinanderreden, vertauschen sich Stimmen und Münder gehen schief.

Googles Modellreferenz nennt Englisch als Prompt-Sprache für Veo 3.1. Einen Satz in einer anderen Sprache solltest du auf dem Modell testen, bevor du dich darauf verlässt.

Auch Ton ohne Worte braucht Regie. Dieser Clip mit Veo 3.1 verlangt ein Geräusch, das sich einmal ändert, auf Stichwort: Das Briefing endet mit „Gedämpfte Unterwasser-Atmosphäre, dann ein deutlicher Atemzug“, und der Atemzug kommt, als die Schildkröte die Wasseroberfläche durchbricht.

• Verknüpfe jeden Effekt im selben Satz mit einer Handlung: „Die Tür knallt zu, als sie geht“ funktioniert besser als eine Liste von Geräuschen am Ende.
• Beschreibe die Atmosphäre aus dem Material des Orts selbst: Wind über einem Dach, das Gemurmel eines Cafés, Verkehr zwei Straßen weiter.
• Sag, wie der Ton endet: Er bricht mit einem Schnitt ab, läuft weiter oder blendet aus.

• Lip-Sync-Drift: Mund und Worte beginnen gemeinsam und laufen dann über einen langen Satz auseinander, oder der Mund bewegt sich, wenn niemand spricht.
• Verwaschene Sprache: Worte kommen undeutlich, erfunden oder in falscher Reihenfolge heraus, häufiger bei langen oder schnellen Sätzen. Google sagt, es arbeite noch daran, Fälle unzusammenhängender Sprache zu beseitigen bei Veo, und sein Leitfaden nennt die Audiofunktionen experimentell und in aktiver Verbesserung.
• Die falsche Person spricht: Mit zwei oder drei Menschen im Bild kann ein Satz aus dem falschen Mund kommen, oder eine zusätzliche Stimme taucht auf.
• Stimmen, die sich zwischen Clips ändern: Jeder Clip entsteht für sich, also kann eine Figur, die in zwei Prompts unterschiedlich beschrieben ist, wie zwei Personen klingen; siehe Figurenkonsistenz.
• Musik, die bei jedem Schnitt endet: Eine Filmmusik, die in einem Clip entsteht, endet mit dem Clip, und der nächste Clip beginnt eine andere.
• Musik, für die du nicht bürgen kannst: Nichts in einem generierten Clip verrät dir, ob seine Melodie einer existierenden Aufnahme ähnelt. Für alles, was du kommerziell veröffentlichst, nutze einen Track, dessen Lizenz du kennst.
• Springende Lautstärke: Jeder Clip kommt in dem Pegel heraus, den das Modell gewählt hat, also kann ein Schnitt zwischen zwei Clips plötzlich lauter oder leiser sein. Gleiche den Ton im Schnittprogramm an, bevor du veröffentlichst.

Stimmen und Einwilligung

Eine generierte Stimme kann wie die einer echten Person klingen. Prompte nicht nach der Stimme einer namentlich genannten Person und leg einer echten Person keine Worte ohne ihre Einwilligung in den Mund; eine Stimme, die du genau so brauchst, nimm mit Erlaubnis auf.

Die meisten aktuellen Videomodelle generieren Ton. Auf DreamBench tun es manche immer, andere haben einen Schalter, und die Tabelle unten ist direkt aus den Einstellungen des Composers abgelesen:

Der Ton ist immer an bei Veo 3.1, Kling 4.0, Wan 3.0, Grok Imagine 1.5, MiniMax H3 und HappyHorse 1.1: Ihre Hersteller bieten keine Möglichkeit, ihn auszuschalten. Seedance 2.5, Seedance 2.0, Kling 3.0, Wan 2.7 und LTX-2.3 haben einen Schalter. Der einzige Ton von Vidu Q2 ist Hintergrundmusik, die ein DreamBench-Film weglässt.

Den Ton auszuschalten senkt den Preis nur bei Kling 3.0, dessen Anbieter einen stummen Clip günstiger abrechnet; bei jedem anderen Modell, auch bei Seedance 2.0, obwohl ByteDance es als ein gemeinsames Audio-Video-Modell beschreibt, ändert der Schalter, was du hörst, nicht die Credits. Die Seite jedes Modells in der Modellliste nennt seine Längen und Einstellungen.

Auf DreamBench beschreibst du den Film, und DreamBench schreibt den Prompt jedes Clips, Ton inklusive. Jeder Clip mit Ton bekommt eine eigene Tonzeile: die Atmosphäre des Orts, die Stimme jeder sprechenden Person, wie viele Sätze gesprochen werden, von wem und in welcher Sprache, wenn dein Briefing eine nennt, und wie der Ton am Schnitt endet.

• Die Stimme einer Figur wird einmal festgelegt und Wort für Wort in jeden Clip geschrieben, in dem sie spricht, denn eine Stimme, die jedes Mal mit neuen Worten beschrieben wird, kommt als neue Stimme heraus.
• Die Clips eines Films tragen ihre eigenen Geräusche und Stimmen, nie Musik: Jeder Clip wird für sich gerendert, also würde eine darin entstandene Filmmusik an seinem Schnitt abrupt enden.
• Der Schalter „Ton“ sitzt im Composer neben dem Modell. Bei einem Modell, dessen Ton immer an ist, steht er auf an und lässt sich nicht ausschalten.

Wenn du selbst einen einzelnen Prompt mit Ton schreiben willst: Der KI-Video-Prompt-Generator hat einen Tonteil, von reiner Atmosphäre bis zu einem gesprochenen Satz in Anführungszeichen, und der Veo-3.1-Prompt-Generator schreibt für ein Modell, dessen Ton immer an ist. Mehr dazu unter KI-Videogenerierung, Text-zu-Video und Multi-Shot-Video.