Was ist KI-Lip-Sync?

Jeder gesprochene Laut hat eine Mundform. Bei p, b und m schließen sich die Lippen; bei f und v berühren die oberen Zähne die Unterlippe; bei u runden sich die Lippen. Lip Sync funktioniert, indem diese Formen genau in dem Moment im Bild erscheinen, in dem der jeweilige Laut zu hören ist, und ineinander übergehen, wie es ein echter Mund tut.

Es gibt zwei Wege dorthin. Ein Videomodell mit Ton kann Gesicht und Stimme auf einmal erzeugen, aus einem Prompt, der den Satz enthält: Vor der Generierung existiert nichts, also werden Mund und Worte gemeinsam erfunden. Oder ein Lip-Sync-Modell nimmt ein vorhandenes Video und eine Tonspur und zeichnet nur den Mundbereich neu, damit er die neuen Worte sagt.

Phoneme und Viseme

Ein Phonem ist ein Sprachlaut; ein Visem ist, wie er im Gesicht aussieht. In der Sprachdokumentation von Microsoft ist ein Visem „die visuelle Beschreibung eines Phonems“, und es gibt keine Eins-zu-eins-Zuordnung: Mehrere Laute, etwa s und z, sehen im Gesicht einer sprechenden Person gleich aus. Microsoft nutzt für seinen Sprachdienst 22 Viseme und merkt an, dass der Satz je nach Sprache variiert, was ein Grund dafür ist, dass Lip Sync, das in einer Sprache richtig aussieht, in einer anderen ungenau wirken kann.

Avatar- und Spiele-Pipelines steuern ein 2D- oder 3D-Gesicht direkt über Viseme: Die Sprach-Engine benennt jede Mundform und wann sie beginnt. Videomodelle führen keine Viseme auf; sie lernen den Zusammenhang zwischen Laut und Mund aus Aufnahmen sprechender Menschen.

Tongesteuerte Lip-Sync-Modelle

Tongesteuertes Lip Sync geht von einem Gesicht aus, das du schon hast. Ein bekanntes Forschungsbeispiel ist Wav2Lip (2020): Es synchronisiert „ein Video eines sprechenden Gesichts mit beliebiger Identität“ mit einem Ziel-Sprachclip und lernt von einem starken Lip-Sync-Diskriminator, einem Netz, das beurteilt, ob Mund und Ton übereinstimmen. Ein früheres Paper aus Oxford, Out of time von Chung und Zisserman (2016), trainierte ein Netz, das die Synchronität zwischen Mundbewegung und Sprache in einem Video misst: die Art von Prüfinstanz, von der solche Modelle lernen.

Modellhersteller verkaufen denselben Weg inzwischen als Funktion. Klings Lip Sync nimmt ein Video mit einem vollständigen Gesicht und entweder eine hochgeladene Audiodatei oder eine aus Text erzeugte Stimme und kürzt den Ton, wenn er länger als das Video ist. VideoRetalk von Alibaba nimmt ein Video und eine Audiodatei und verlangt ein gut sichtbares, frontal ausgerichtetes Gesicht. In beiden bleibt der Rest des Bilds erhalten, und das untere Gesicht wird neu gezeichnet.

Gemeinsame Audio-Video-Modelle

Der neuere Weg erzeugt Ton und Bild in derselben Generierung. Google hat Veo 3 so vorgestellt, dass es Soundeffekte, Atmosphäre und Dialog nativ generiert, und Kling 3.0 wird mit Lip Sync auf Figurenebene und Dialog für mehrere Figuren in einer Szene beschrieben. Forschungsmodelle wie Ovi (2025) zeigen die Idee offen: ein generativer Prozess für beides, mit zwei verbundenen Netzen, die Timing und Bedeutung austauschen, sodass der Ton danach keinen Abgleich braucht. Die Tonseite im Detail erklärt natives Audio.

Welchen Weg du brauchst, hängt davon ab, womit du anfängst. Existiert noch nichts, generiere Gesicht und Stimme gemeinsam; existieren schon Aufnahmen oder eine Stimme, die bleiben müssen, brauchst du ein tongesteuertes Tool.

Diese Begriffe überschneiden sich in Suchergebnissen und in Tools, beschreiben aber verschiedene Aufgaben. Lip Sync ist der gemeinsame Teil: ein Mund, der zur Sprache passt.

Diese 30-Sekunden-Aufnahme entstand auf DreamBench aus dem Briefing darunter, mit Seedance 2.5 und Ton. Der Satz des Kochs steht im Briefing auf Japanisch, in Anführungszeichen, mit Angabe, wer ihn sagt und wie: „sagt leise auf Japanisch“. Nichts wurde aufgenommen; Stimme, Worte und Mund wurden gemeinsam generiert.

Achte darauf, wie der Satz platziert ist: nach einer Pause, während der Koch still steht und zum Licht blickt. Ein gesprochener Satz sitzt am besten auf einem Gesicht, das nicht gleichzeitig etwas Schnelles tut.

Damit eine KI-Figur spricht, schreib den Satz in Anführungszeichen in den Prompt und sag, wer ihn spricht. Ein Modell mit Ton liest einen zitierten Satz als Sprache; ein Satz ohne Anführungszeichen wird oft als Beschreibung behandelt. Eine sinnvolle Reihenfolge:

• Halte es kurz: Etwa zwei Wörter pro Sekunde Clip sind ein angenehmes Tempo, also trägt eine 8-Sekunden-Einstellung ein oder zwei Sätze.
• Eine Person spricht zur Zeit, jeder Satz einer genannten Person zugeordnet; sag, dass die anderen schweigend zuhören.
• Lass die sprechende Person frontal oder im Dreiviertelprofil zur Kamera stehen, mit Licht im Gesicht.
• Halte Hände, Essen, Tassen und Mikrofone vom Mund fern, während der Satz gesprochen wird.
• Wenn du einen Akzent brauchst, beschreibe ihn in Worten, etwa „ein weicher schottischer Akzent“.

Der KI-Video-Prompt-Generator hat für jedes Modell eine Option für einen gesprochenen Satz, und der Kling-3.0-Prompt-Generator schreibt einen lippensynchronen Satz auf Englisch, Chinesisch, Japanisch, Koreanisch oder Spanisch. Beide schreiben nur den Prompt; den Clip macht weiterhin das Videomodell.

• Werbung und Social-Clips, in denen jemand in die Kamera spricht und einen Satz zu einem Produkt sagt.
• Kurze Dramen und Sketche, in denen sich zwei Figuren Sätze zuwerfen.
• Animierte und stilisierte Figuren, die sprechen, vom Maskottchen bis zum Cartoon-Tier.
• Dieselbe Szene in mehreren Sprachen, jede Version mit ihrem eigenen Satz generiert.

• Schnelle Sprache: Wenn Laute schneller kommen, als die Frames sie zeigen können, verschwimmt der Mund oder überspringt Formen. Verlangsame den Satz oder streiche Wörter.
• Seitenansichten: Beide Wege funktionieren am besten mit einem Gesicht von vorn oder im Dreiviertelprofil; VideoRetalk verlangt ausdrücklich ein frontales Gesicht. Im Profil ist der halbe Mund verdeckt, und Fehler fallen auf.
• Bärte, Schnurrbärte und Hände in Mundnähe verdecken die Lippenlinie, also hat das Modell weniger, dem es folgen kann, und muss mehr erfinden.
• Zähne und Zunge: Sie kommen verschwommen oder verschmolzen heraus oder ändern sich von Frame zu Frame, vor allem bei offenen Vokalen in einer Großaufnahme.
• Mehrere Sprechende: Die Stimme kann aus dem falschen Gesicht kommen, oder die Lippen einer zuhörenden Person bewegen sich mit. Nenne jede sprechende Person und gib jeden Satz einer Person.
• Sprachen: Ein Modell synchronisiert die Lippen am besten in den Sprachen, aus denen es am meisten gelernt hat. Manche Hersteller nennen ihre, und ein Satz in einer anderen Sprache kann weniger deutlich oder in einer anderen Sprache herauskommen.

Warum passt die Stimme in meinem KI-Video nicht zum Mund? Meist ist der Satz zu lang oder zu schnell für den Clip, die sprechende Person ist abgewandt, oder der Prompt sagt nicht, wer spricht: Behebe das und generiere neu. Google selbst nennt Sprache in kurzen Sätzen und Audiosynchronisation als Baustellen bei Veo.

Ein tongesteuertes Tool kann jedem gefilmten Gesicht beliebige Worte in den Mund legen. Das ist dieselbe Technik wie hinter vielen Deepfakes, und deshalb kommt die Einwilligung zuerst: Lass eine echte Person nur mit ihrer informierten Erlaubnis etwas sagen, und nie, um zu täuschen, um ein Produkt zu empfehlen, das sie nicht empfiehlt, oder um einer Person des öffentlichen Lebens Worte in den Mund zu legen.

Die Nutzungsbedingungen von DreamBench verlangen eine informierte Erlaubnis, bevor das Abbild oder die Stimme einer echten Person mit KI verarbeitet oder dargestellt wird, und schließen nicht autorisierte Darstellungen echter Personen, täuschende Nachahmung und falsche Empfehlungen aus. Seedance auf DreamBench lehnt Referenzbilder echter menschlicher Gesichter grundsätzlich ab.

Wenn ein Clip eine echte Person zeigt, die etwas sagt, was sie nicht gesagt hat, kennzeichne ihn überall, wo du ihn veröffentlichst, als KI-generiert.

Auf DreamBench wird Lip Sync gemeinsam mit dem Video generiert. Du beschreibst den Film, und wenn im Briefing Menschen sprechen, schreibt DreamBench jeden Satz in Anführungszeichen in den Prompt seiner Szene, nennt, wer ihn sagt, hält die Lippen aller anderen geschlossen und beschreibt die Stimme jeder sprechenden Person in jedem Clip gleich. Ein Modell mit Ton erzeugt dann Gesicht und Stimme in einem Durchgang. Jeder Clip wird für sich generiert, also kann eine Stimme von Szene zu Szene noch leicht variieren; siehe Figurenkonsistenz.

Manche Modelle sind dafür gemacht: HappyHorse 1.1 steht im Menü für Menschen, die in die Kamera sprechen, Kling 3.0 gibt mehreren Figuren in einer Szene Text, und Wan 3.0 baut Szenen mit Dialog. Ton ist aber nicht immer Sprache: Auf DreamBench ergänzt Wan 2.7 Musik oder Effekte, und Vidu Q2 nur Hintergrundmusik.

Was DreamBench nicht kann: Es gibt keinen Upload für Audiodateien, also kann es einen Clip nicht lippensynchron zu deiner eigenen Aufnahme machen, und es synchronisiert kein vorhandenes Video in eine andere Sprache. Morph bearbeitet, was in einem hochgeladenen Video zu sehen ist, und behält seinen Originalton, sofern du ihn nicht ausschaltest; eine neue Sprachspur nimmt es nicht an. Wenn ein Satz falsch herauskommt, dreh nur diese Szene neu. Die Seite jedes Modells in der Modellliste sagt, was sein Ton umfasst.