Was ist Video-Inpainting?

KI entfernt ein Objekt aus einem Video in zwei Schritten. Zuerst umreißt ein Segmentierungsmodell wie SAM 2 das Objekt einmal und folgt ihm durch jeden Frame. Dann wird der Bereich gefüllt: mit echtem Hintergrund aus Frames, in denen er sichtbar war, und generiert, wo er es nie war, damit die Füllung mit der Kamera mitgeht.

Maske oder Anweisung

Es gibt zwei Wege zu sagen, was weg soll. In klassischen VFX-Tools markierst du es: Du zeichnest eine Maske auf ein Frame und lässt einen Tracker sie durch die übrigen verfolgen. In neueren generativen Editoren nennst du es in Worten, „der Radfahrer links“, und das Modell findet es in jedem Frame.

Eine Maske ist exakt, macht aber Arbeit, und ein Tracker, der verrutscht, hinterlässt Spuren. Worte gehen schnell, aber das Modell entscheidet, wo die Kanten liegen, also prüfe sie.

Aus anderen Frames übernehmen

Anders als ein Foto zeigt ein Video oft, was hinter einem Objekt ist – ein paar Frames früher oder später, wenn sich das Objekt oder die Kamera bewegt hat. Flussgeführte Methoden wie ProPainter verfolgen, wie sich jedes Pixel zwischen Frames bewegt, und kopieren den echten Hintergrund überall dort in das Loch, wo er zu sehen war.

Generieren, was nie zu sehen war

Wo der Hintergrund nie zu sehen war, muss das Modell ihn erfinden, so wie es Bild-Inpainting bei einem Standbild tut. Generative Videomodelle tun das für den ganzen Clip auf einmal, sodass sich der erfundene Teil mit der Kamera bewegt und seine Textur behält.

• Passanten, Autos oder Crew aus einer Einstellung entfernen, die sich nicht neu drehen lässt.
• Kabel, Rigs, Galgenmikrofone und Marker bei visuellen Effekten entfernen.
• Ein Logo oder Schild entfernen, das du nicht zeigen darfst.
• Kratzer, Staub und beschädigte Stellen in altem Filmmaterial reparieren.
• Platz in einer Szene schaffen, bevor etwas Neues hinzukommt.
• Gesichter oder Kennzeichen zum Schutz der Privatsphäre unkenntlich machen, durch Ersetzen statt Verwischen.

Die meisten missglückten Entfernungen hätte man am Clip vorhersehen können. Prüfe vor dem Start Folgendes:

Nenne die Spuren in deiner Anweisung: „Entferne die Radfahrerin und ihren Schatten“. Ein Modell entfernt, was du nennst, nicht, was du gemeint hast.

• Zurückgebliebene Schatten und Spiegelungen: Die Person ist weg, ihr Schatten bleibt. Nimm sie mit in das auf, was entfernt werden soll.
• Eine unscharfe oder verschmierte Stelle, wo das Objekt war – bei großen Bereichen, für die es nichts zu übernehmen gibt.
• Flackern im gefüllten Bereich, wenn jedes Frame leicht anders gefüllt wird: ein Versagen der zeitlichen Konsistenz.
• Verlorene Details bei bewegter Kamera und unruhigen Texturen wie Laub, Menschenmengen und Wasser.

Eine Entfernung, die in einem Frame richtig und im nächsten falsch aussieht, ist der übliche Fehler. Entweder wird die Füllung in jedem Frame etwas anders neu generiert und flackert, oder der Tracker verliert das Objekt, wenn etwas davor vorbeizieht, und das Objekt taucht für ein paar Frames wieder auf: Die Autoren von SAM 2 merken an, dass es nach einer langen Verdeckung die Spur verlieren kann. Ein kürzerer Clip, eine ruhigere Kamera und ein Bereich, der von anderen bewegten Dingen frei bleibt, geben dem Tracker weniger zu verlieren.

Entferne keine Wasserzeichen, Namensnennungen oder Beschriftungen, zu deren Entfernung du nicht berechtigt bist.

Wähle in Morph „Etwas entfernen“, lade einen Clip von 4 bis 30 Sekunden hoch und sag, was weg soll. Morph füllt die Stelle und behält den Rest des Clips und seine Bewegung bei. Für ein Standbild erledigt der Objektentferner dieselbe Aufgabe.