Apa itu video inpainting?

AI menghapus objek dari video dalam dua langkah. Pertama, model segmentasi seperti SAM 2 menggarisbesarkan objek sekali dan mengikutinya di setiap frame. Lalu areanya diisi: latar belakang asli disalin dari frame tempat latar itu terlihat, dan dihasilkan di tempat yang tidak pernah terlihat, jadi isiannya bergerak mengikuti kamera.

Mask atau instruksi

Ada dua cara menyebutkan apa yang harus hilang. Di alat efek visual klasik, kamu menandainya: gambar mask di satu frame dan biarkan tracker mengikutinya di frame lainnya. Di editor generatif yang lebih baru, kamu menyebutkannya dengan kata-kata, “pesepeda di sebelah kiri”, dan model menemukannya di setiap frame.

Mask itu presisi tapi butuh usaha, dan pelacak yang meleset meninggalkan jejak. Kata-kata itu cepat, tapi model yang menentukan letak tepinya, jadi periksalah.

Meminjam dari frame lain

Tidak seperti foto, video sering memperlihatkan apa yang ada di belakang suatu objek, beberapa frame sebelumnya atau sesudahnya, saat objek atau kameranya bergerak. Metode berbasis aliran seperti ProPainter melacak gerak setiap piksel antar-frame dan menyalin latar belakang asli ke lubang itu di mana pun latar itu pernah terlihat.

Menghasilkan yang tidak pernah terlihat

Jika latar belakang tidak pernah terlihat, model harus membuatnya sendiri, seperti yang dilakukan inpainting gambar untuk foto diam. Model video generatif melakukannya untuk seluruh klip sekaligus, jadi bagian yang dibuat ikut bergerak bersama kamera dan teksturnya tetap.

• Menghapus orang lewat, mobil, atau kru dari shot yang tidak bisa direkam ulang.
• Membersihkan kabel, rig, mikrofon boom, dan penanda dalam efek visual.
• Menghapus logo atau papan nama yang tidak boleh kamu tampilkan karena hak cipta.
• Memperbaiki goresan, debu, dan area rusak pada film lama.
• Memberi ruang di adegan sebelum sesuatu yang baru ditambahkan.
• Menyamarkan wajah atau pelat nomor demi privasi, dengan menggantinya, bukan memburamkannya.

Sebagian besar penghapusan yang gagal sebenarnya bisa diperkirakan dari klipnya. Periksa hal-hal ini sebelum mulai:

Sebutkan jejaknya dalam instruksimu: “hapus pesepeda itu dan bayangannya”. Model menghapus apa yang kamu sebutkan, bukan apa yang kamu maksud.

• Bayangan dan pantulan tertinggal: orangnya terhapus, bayangannya tetap ada. Sertakan keduanya dalam apa yang kamu minta untuk dihapus.
• Bekas buram atau coreng di tempat objek tadinya berada, pada area luas yang tidak punya apa pun untuk dipinjam.
• Kedipan di area yang diisi, saat setiap frame diisi sedikit berbeda: kegagalan konsistensi temporal.
• Detail hilang pada kamera yang bergerak dan tekstur ramai seperti dedaunan, kerumunan, dan air.

Penghapusan yang terlihat benar di satu frame dan salah di frame berikutnya adalah kegagalan yang biasa. Entah isiannya dihasilkan ulang sedikit berbeda di setiap frame dan berkedip, atau tracker kehilangan objeknya saat sesuatu lewat di depannya dan objek itu muncul kembali selama beberapa frame: pembuat SAM 2 mencatat bahwa ia bisa kehilangan jejak setelah oklusi yang lama. Klip yang lebih pendek, kamera yang lebih stabil, dan area yang jauh dari benda bergerak lain memberi tracker lebih sedikit yang bisa hilang.

Jangan hapus watermark, kredit, atau keterangan yang tidak berhak kamu hapus.

Di Morph, pilih Hapus sesuatu, unggah klip berdurasi 4 sampai 30 detik, lalu sebutkan apa yang harus hilang. Morph mengisi area itu dan mempertahankan sisa klip beserta gerakannya. Untuk gambar diam, penghapus objek melakukan tugas yang sama.