Apa itu konsistensi temporal dalam video AI?

Kamera merekam satu dunia, jadi frame-framenya selaras dengan sendirinya. Model menghasilkan setiap frame, dan tidak ada dalam fisika prosesnya yang memaksa frame 90 selaras dengan frame 1. Konsistensi harus dipelajari.

Model video masa kini mendapatkan sebagian besarnya dengan menghasilkan semua frame sekaligus: attention-nya membuat setiap bagian dari setiap frame bisa melihat semua bagian lain, melintasi ruang dan waktu. Metode lama yang menghasilkan atau mengedit satu frame demi satu frame berkedip parah justru karena alasan ini. Makin panjang klipnya, makin banyak yang harus dijaga tetap padu, dan itulah salah satu alasan sebagian besar model membuat klip berdurasi detik, bukan menit.

Model yang memperpanjang klip sepotong demi sepotong, atau menghasilkannya frame demi frame, hanya melihat sebagian dari yang sudah ada sebelumnya. Pergeseran menumpuk di setiap sambungan.

Di balik layar: satu klip, satu tampilan bersama

Laporan tentang model terbuka Wan menjelaskan desain yang umum. Encoder video memampatkan klip 4 kali dalam waktu dan 8 kali di setiap arah ruang, dan diffusion transformer memproses seluruh klip terkompresi sekaligus, jadi setiap frame dihasilkan dengan semua frame lain dalam pandangan.

Para peneliti mengukur hasilnya. Benchmark seperti VBench membagi kualitas video menjadi skor terpisah, termasuk kedipan temporal dan terjaganya identitas subjek.

Brief tersulit untuk konsistensi mengubah segala sesuatu di sekitar subjek sambil meminta subjeknya tetap sama persis. Yang ini, dibuat di DreamBench dengan Seedance 2.5, mempertahankan satu penari dalam satu putaran kamera tanpa putus selama 15 detik sementara panggungnya berubah menjadi hutan lalu kolam.

• Periksa subjek pada momen pergantian: titik saat satu adegan berganti ke adegan berikutnya.
• Jeda pada tangan dan tepi kain: detail halus yang bergerak cepat adalah tempat pergeseran paling dulu terlihat.
• Bandingkan frame pertama dan terakhir berdampingan: pergeseran lambat tidak terlihat saat bergerak, tetapi jelas di gambar diam.

• Beri model sebuah gambar: gambar ke video menetapkan frame pertama, jadi lebih sedikit yang perlu dikarang.
• Gunakan gambar referensi karakter atau produk di setiap shot yang menampilkannya.
• Minta gerakan yang lebih sedikit: gerakan kamera lambat dan aksi sederhana lebih terjaga daripada whip pan dan perkelahian.
• Buat klip tetap pendek dan potong di antaranya, seperti di film, alih-alih satu take panjang.
• Deskripsikan karakter yang sama dengan kata-kata yang sama di setiap prompt.
• Hindari pola yang ramai, teks kecil, dan kerumunan jika bisa.

Saat kamu mengedit video asli dengan AI, rekaman aslinya sudah konsisten; risikonya ada pada perubahannya. Wajah tertukar yang bergeser, objek terhapus yang muncul lagi samar-samar, atau gaya baru yang bergolak dari frame ke frame, semuanya kegagalan konsistensi temporal dalam editan.

Kenapa video yang kuganti gayanya bergolak atau berkilauan? Ganti gaya mempertahankan garis luar, kedalaman, dan gerakan setiap frame lalu mengecat ulang permukaannya, dan permukaan itulah yang dihasilkan ulang sedikit berbeda di setiap frame: grain, sapuan kuas, dan pola halus bergoyang sementara bentuknya bertahan. Minta gaya yang lebih datar dengan tekstur lebih sedikit, jaga klip tetap pendek, dan bandingkan hasilnya dengan aslinya sebelum kamu memakainya; rekaman aslinya stabil, jadi kilauan apa pun berasal dari editnya. Objek yang sudah dihapus tetapi muncul kembali samar-samar adalah kegagalan yang sama di area yang diisi.

DreamBench menulis setiap shot film dengan deskripsi yang sama untuk setiap karakter, dan gambar yang kamu tambahkan dikirim sebagai referensi di setiap shot yang membutuhkannya. Di Morph, gerakan dan timing klip asli dipertahankan, jadi hasil editnya mengikuti rekamannya.