Apa itu konsistensi karakter di video AI?

Model video membuat film satu shot setiap kali, dan tidak ada yang berpindah dari shot 4 ke shot 5 kecuali kamu yang memberikannya: model mulai lagi dari noise dan mengarang apa pun yang tidak ditentukan prompt. Tulis “seorang perempuan berambut pirang pendek” dua kali dan kamu akan mendapat dua perempuan yang berbeda.

Jadi konsistensi datang dari apa yang diberikan ke setiap shot. Kata-kata yang sama membantu. Gambar lebih membantu, karena wajah lebih mudah ditunjukkan daripada dijelaskan: model yang menerimanya, mode yang disebut referensi ke video, menjaga wajah, rambut, dan warna yang bisa dilihatnya. Lembar karakter, yaitu karakter dari depan, samping, dan belakang, paling membantu, karena juga menunjukkan mereka saat berbalik.

Memulai shot dari gambar karakter, seperti yang dilakukan gambar ke video, juga bisa: frame pertama ditetapkan, dan makin jauh shot bergerak darinya, makin banyak yang dikarang ulang.

Di balik layar: referensi, identity embedding, dan seed

Gambar referensi sampai ke model lewat attention, mekanisme yang sama dengan yang dipakai teks. IP-Adapter menambahkan gambar sebagai prompt lewat lapisan cross-attention-nya sendiri, terpisah dari milik teks, dalam adapter berukuran sekitar 22 juta parameter, tanpa mengubah model itu sendiri.

Metode identitas melangkah lebih jauh dan mengenkode wajahnya sendiri. InstantID bekerja dari satu foto wajah: jaringan terpisah mengarahkan generasi dengan fitur dan titik-titik penanda wajah itu, sehingga orangnya tetap dikenali sementara gaya dan pose berubah. Wajah yang dienkode itu adalah identity embedding.

Cara tertua adalah mengajari model tentang karakternya. DreamBooth melakukan fine-tune model dengan beberapa gambar sebuah subjek sampai model mengikat satu kata unik padanya, lalu menghasilkan subjek itu di adegan, pose, sudut pandang, dan cahaya baru. LoRA, yang pertama kali diterbitkan untuk model bahasa, membuat fine-tune semacam itu ringan: bobot model tetap dibekukan dan hanya matriks kecil tambahan yang dilatih. Keduanya butuh model yang bobotnya bisa kamu latih.

Gagasan lain adalah menghasilkan gambar-gambarnya bersamaan. StoryDiffusion membagi attention ke sekumpulan gambar, tanpa pelatihan, sehingga subjek tetap selaras di satu seri; model video multi-shot menjaga para pemeran di seluruh potongan yang dibuatnya sendiri dengan cara serupa, tetapi hanya dalam satu generasi.

Kenapa seed tidak membawa karakternya? Seed menetapkan noise awal, jadi seed yang sama dengan prompt, durasi, frame, dan model yang sama mengulang klip yang sama. Shot baru mengubah setidaknya satu di antaranya, noise yang sama dibaca dengan cara baru, dan wajah terakhir tidak tersimpan di mana pun.

Keduanya berujung pada wajah yang berubah, jadi mudah tertukar. Konsistensi temporal ada di dalam satu klip: apakah frame 90 selaras dengan frame 1? Konsistensi karakter ada di antara klip: apakah perempuan di dapur di shot 2 adalah perempuan di kereta di shot 9? Klip yang stabil tetap bisa menampilkan orang yang salah.

Frame pertama dan terakhir bisa membawa frame terakhir satu shot menjadi frame pertama shot berikutnya: sambungannya halus, tetapi shot 12 tetap tidak mengenal shot 3.

Setiap pembuat model punya caranya sendiri. Panduan Vertex AI dari Google menerima hingga tiga gambar satu orang, karakter, atau produk untuk Veo 3.1, dan menyebut Veo mempertahankan penampilan subjek di dalam video; di model standar, klip yang dibuat dengan gambar subjek berdurasi 8 detik.

Kling membangun karakter sebagai element. Panduan Element Library-nya meminta dua sampai empat gambar per element, satu gambar utama dan hingga tiga dari sudut lain, menyarankan gambar utama yang menghadap depan, dan menyebut Kling 3.0 mengikat hingga tiga element ke sebuah frame awal.

Seedance menerima banyak referensi sekaligus, dengan satu aturan yang penting di sini: tutorial seri Seedance 2.0 dari BytePlus menyebut model-model itu tidak menerima gambar atau video referensi yang secara langsung berisi wajah manusia sungguhan, dan menawarkan karakter digitalnya sendiri serta aset orang sungguhan yang berizin sebagai gantinya.

Model menyalin apa yang ditunjukkan referensi, diinginkan atau tidak, jadi lembar yang bagus memang sengaja dibuat polos:

• Wajah dan rambut yang sama di setiap tampilan, depan, samping, dan belakang, dengan warna kulit yang sama di masing-masing.
• Satu karakter per lembar: wajah kedua adalah identitas kedua yang bisa ikut dipinjam.
• Latar polos tanpa bayangan jatuh atau rona warna, yang akan muncul di setiap shot.
• Tanpa teks, label, atau angka, yang bisa ditulis model ke dalam shot.
• Tampilan depan yang jelas sebagai gambar utama, seperti saran Kling, dengan seluruh pakaian terlihat.
• Tempat di lembarnya sendiri, kosong tanpa karakter.

Kenapa karakterku berubah di tengah shot? Itu pergeseran di dalam klip, kegagalan konsistensi temporal: shot yang lebih pendek, gerakan yang lebih sedikit, dan potongan sebelum gerakan berbalik yang besar lebih membantu daripada referensi baru.

• Buat karakternya sekali, sebagai lembar, sebelum shot apa pun.
• Beri lembar itu ke setiap shot yang menampilkan mereka, atau mulai setiap shot dari gambar yang dibuat dari lembar itu.
• Tulis beberapa detail penentu mereka kata demi kata di setiap prompt.
• Pakai satu model untuk seluruh film jika bisa: setiap model membaca referensi dengan caranya sendiri.
• Bandingkan gambar diam dari shot yang berbeda secara berdampingan: perubahan yang terlewat saat bergerak terlihat jelas di gambar diam.

Gambar referensi orang sungguhan adalah kemiripan orang itu. Pakai milikmu sendiri, atau milik orang yang sudah memberimu izin, dan katakan bahwa videonya buatan AI jika bisa disangka rekaman asli. Sebagian model, termasuk Seedance 2.0, langsung menolak wajah sungguhan.

Di DreamBench, gambar yang diunggah diperiksa sebelum kredit apa pun terpakai, dan gambar yang tampak menampilkan orang sungguhan di bawah 18 tahun ditolak: Ketentuan tidak mengizinkan unggahan atau penggambaran orang sungguhan di bawah 18 tahun. Di Morph, video dengan orang sungguhan baru dibuat setelah kamu mencentang bahwa itu kamu sendiri, atau orang yang sudah memberi izin.

Saat kamu mendeskripsikan film, DreamBench menulis naskahnya, lalu menggambar para pemeran sebelum satu shot pun dirender: setiap karakter, tempat, dan properti sekali, sebagai lembar, yang sama di setiap shot. Tambahkan gambar di bawah “Siapa saja yang tampil?”, ditandai sebagai karakter, makhluk, lokasi, atau properti, dan lembar itu digambar dari gambarmu, dengan mengambil subjeknya saja, bukan cahaya atau latar belakangnya; lembar yang sudah kamu buat sebelumnya dipakai apa adanya.

Sebelum lembar digambar, setiap karakter dan properti diberi kunci identitas: wajah, profil, tubuh, dan ukurannya, ditulis untuk seluruh pemeran sekaligus agar tidak ada dua karakter yang berbagi wajah. Satu baris pendek penanda dari kunci itu ditulis kata demi kata ke setiap shot yang menampilkan karakter tersebut, bersama suara karakter di model yang menghasilkan suara dan jumlah orang di layar.

Cara lembar sampai ke shot bergantung pada modelnya. Di Seedance 2.5, Seedance 2.0, Veo 3.1, dan Vidu Q2, lembar dikirim bersama setiap shot sebagai gambar referensi. Di model lain, termasuk Veo 3.1 Fast dan Lite serta Kling 3.0, DreamBench lebih dulu menggambar gambar diam pembuka dari lembar-lembar shot itu, dan shot dimulai dari gambar diam tersebut.

Perubahan yang dibutuhkan cerita, seperti karakter yang basah kuyup karena hujan, digambar sebagai varian di lembarnya sendiri. Jika kamu memilih untuk meninjau, kamu bertemu para pemeran sebelum apa pun direkam dan bisa menggambar ulang lembar mana pun, atau dari gambarmu sendiri. Shot yang masih meleset diulang dengan catatan yang menyebutkan apa yang perlu diperbaiki.

Asli

Dengan Morph

Ganti latar belakang menjadi @livingroom, dengan tata letak seperti @floorplan, tapi tukar 3 kucing dengan @yickshuncat, @oreo, dan @mango.