Apa itu referensi ke video?

Referensi ke video bekerja dengan membiarkan model membaca gambarmu saat menghasilkan video, tanpa menempatkan satu pun di dalam klip. Setiap gambar menunjukkan rupa sesuatu; prompt menyebutkan apa yang terjadi. Model lalu menghasilkan setiap frame dari noise, seperti dalam teks ke video, sambil mempertahankan wajah, bentuk, dan warna yang ditunjukkan kepadanya.

Itulah bedanya dengan gambar ke video, tempat gambarmu menjadi frame pertama dan kamera mulai persis di sana. Dengan referensi, pembukanya pilihan model, jadi close-up, wide shot, dan sudut kebalikan semuanya bisa menampilkan orang yang sama. Ini cara paling umum untuk mendapatkan karakter yang konsisten di seluruh shot sebuah film.

Di balik layar: ke mana gambar referensi masuk

Model terbuka VACE, yang menamai tugas ini R2V, mendokumentasikan satu desain. Setiap gambar referensi dikompresi oleh encoder yang sama dengan videonya dan ditempatkan di depan frame-frame klip, ditandai sebagai frame yang dipertahankan. Model menghasilkan klip di sampingnya, dan frame referensi dibuang setelah decoding.

Karena referensi berada di sekuens yang sama dengan frame-frame, attention yang menjaga frame 10 selaras dengan frame 11 juga menjaga keduanya selaras dengan gambarmu. Tidak ada bagian metode ini yang menyalin pose atau latar belakang gambar: model belajar dari pasangan data latih bagian mana yang dipertahankan.

Makalah Phantom menyebut keseimbangan yang menjadi kunci tugas ini: teks dan gambar mengarahkan bersama. Saat gambar terlalu dominan, isinya ikut bocor, seperti pose, latar belakang, atau cahaya fotonya; dengan beberapa subjek, model bisa mencampuradukkan mereka.

Cara menulis prompt untuk referensi ke video

• Beri nama setiap referensi dan sebut di tempat ia beraksi: “@mia mengangkat @lamp dari rak” memberi tahu model gambar mana yang memerankan bagian mana.
• Jelaskan aksi, kamera, dan cahayanya, bukan penampilan subjek: gambar sudah memberikannya, dan deskripsi kedua bisa bertentangan dengannya.
• Beri setiap gambar satu tugas. Foto seorang perempuan yang memegang lampu berisi dua subjek dalam satu gambar; potong fotonya, atau model mungkin menjaga keduanya tetap bersama.
• Sebutkan di mana shot berlangsung meski ada referensi lokasi, agar model tahu itu latarnya dan bukan backdrop yang ditempel.

Ketiganya menerima gambar, dan memakainya dengan cara berbeda. Pertanyaannya: apakah gambarmu harus menjadi frame klip, atau deskripsi sesuatu di dalamnya.

Mana yang sebaiknya kupakai? Jika klip harus dibuka dengan frame yang kamu punya, pakai gambar ke video. Jika kamu butuh wajah atau produk yang sama di shot-shot yang masing-masing dimulai dari tempat baru, pakai referensi: kamera bisa mulai dari mana saja.

Referensi hanya berguna sejauh apa yang ditunjukkannya dengan jelas. DreamBench memintamu menandai setiap gambar sebagai salah satu dari empat jenis, karena masing-masing memberi tahu model hal yang berbeda:

Produk dihitung sebagai properti. Logo juga, meski hurufnya adalah detail yang paling sulit dijaga model.

Referensi mengarahkan edit sama seperti shot baru. Dalam edit Morph ini, instruksinya menyebut lembar karakter tiga kucing, sebuah ruang tamu, dan denah lantainya dengan nama, dan klipnya mempertahankan tariannya sementara kucing dan ruangannya berubah.

Asli

Dengan Morph

Ganti latar belakang menjadi @livingroom, dengan tata letak seperti @floorplan, tapi tukar 3 kucing dengan @yickshuncat, @oreo, dan @mango.

Ini video ke video dengan referensi, bukan referensi ke video, karena gerakannya berasal dari klip sungguhan. Referensi melakukan tugas yang sama di keduanya: menyebutkan siapa dan apa yang muncul, tidak lebih.

Setiap pembuat model menamai fitur ini dengan caranya sendiri, dan masing-masing menetapkan batas jumlah gambarnya sendiri. Isi halaman resmi mereka saat kami membacanya:

• Film pendek dan serial dengan karakter yang sama di setiap adegan.
• Iklan produk: satu foto produk, banyak shot produk itu saat dipakai, labelnya tetap terjaga.
• Maskot dan karakter brand yang harus terlihat sama di setiap postingan.
• Memasukkan hewan peliharaan, mainan, atau karakter gambar ke adegan baru.
• Mempertahankan satu lokasi, toko atau apartemen, di semua shot yang terjadi di sana.
• Storyboard yang bergerak, dengan para pemeran yang sudah tampil sesuai casting-nya.

• Salin-tempel: pose, latar belakang, atau cahaya referensi terbawa utuh, sehingga setiap shot terlihat seperti fotonya. Latar polos dan cahaya yang rata membantu.
• Subjek tertukar: dua orang dengan postur dan warna yang mirip bisa bertukar wajah atau pakaian. Buat mereka berbeda, dan sebut masing-masing dengan namanya di tempat ia beraksi.
• Detail halus: teks kecil di label, huruf logo, dan kain bermotif dijaga kurang baik dibanding bentuk dan warna.
• Sisi yang tak terlihat: referensi wajah dari depan menyerahkan bagian belakang kepala kepada model. Lembar dengan beberapa tampilan memberinya lebih banyak yang bisa dijaga.
• Terlalu banyak gambar: setiap model hanya menerima sejumlah gambar per klip, dan lebih dari itu sebagian ditinggalkan.
• Pergeseran seiring waktu: shot yang panjang atau ramai tetap bisa kehilangan detail, kegagalan konsistensi temporal.

Kenapa karakterku tidak mirip referensiku? Biasanya gambarnya menunjukkan terlalu banyak sekaligus: wajah kecil, cahaya keras, orang lain, atau latar yang ramai. Pakai gambar subjek sendirian yang tajam, jangan jelaskan lagi penampilannya di prompt, dan buat shot-nya pendek.

Referensi orang sungguhan bisa menempatkan orang itu di adegan yang tidak pernah ia jalani. Pakai wajahmu sendiri, atau wajah orang yang sudah setuju dengan penggunaan ini, dan beri label pada video yang bisa disangka rekaman asli.

• Ketentuan DreamBench meminta izin berdasarkan informasi yang memadai sebelum kemiripan wajah atau suara orang sungguhan digambarkan dengan AI, dan melarang penggambaran orang sungguhan tanpa izin, peniruan identitas, serta dukungan palsu.
• Setiap gambar yang diunggah diperiksa sebelum kredit apa pun terpakai: ketelanjangan, kekerasan berdarah, dan menyakiti diri sendiri ditolak, begitu juga orang fotorealistis yang tampak berusia di bawah 18 tahun.
• Seedance tidak menerima wajah manusia sungguhan. Referensi yang menampilkannya ditolak, dan DreamBench memberitahukannya serta menyarankan model video lain untuk adegan-adegan itu.
• Pembuat model juga menetapkan aturan sendiri: subject reference MiniMax, misalnya, hanya menerima satu gambar wajah seseorang.

Setiap model video di DreamBench memakai referensimu. Di empat model, gambarnya dikirim ke model video bersama setiap klip. Di model lainnya, model gambar lebih dulu menggambar gambar diam pembuka klip dari gambar-gambar itu, lalu model video menganimasikan gambar diam tersebut:

Jika model sebuah klip menerima lebih sedikit gambar daripada yang dimiliki adegannya, unggahanmu sendiri didahulukan. Seedance 2.5 menerima paling banyak; Veo 3.1 paling sedikit, jadi adegan dengan banyak orang dan properti lebih cocok di Seedance, asalkan tidak ada yang berupa wajah sungguhan.

Di panel pembuatan, kamu mendeskripsikan filmnya dan menambahkan hingga 8 gambar referensi. Setiap gambar diberi nama dan tanda: karakter, makhluk, lokasi, atau properti. Namanya menjadi handle, sehingga brief bisa menyebutnya, seperti “@mia membuka kotak dan mengeluarkan @lamp”; mengetik @ di brief menampilkan daftar handle.

DreamBench lalu menggambar lembar referensi untuk setiap karakter, tempat, dan properti yang dibutuhkan film. Lembar yang dibuat dari gambarmu digambar dengan subjek persis seperti yang ditunjukkan gambar itu, dan gambar yang namanya menyebut dirinya sebuah lembar dipakai apa adanya.

• Lembar karakter: wajah dari dekat, seluruh tubuh dari depan dan belakang, dan tampilan tiga perempat, dengan wajah yang sama di setiap panel, di atas latar abu-abu polos.
• Lembar properti: bendanya dari depan dan dari sudut tiga perempat.
• Lembar lokasi: tempatnya saja, kosong tanpa orang dan properti, agar tidak ada yang tersalin darinya.

Setiap klip membawa lembar dari apa yang ada di dalamnya, dan DreamBench menulis prompt shot yang menyebutnya. Di Edit adegan, setiap adegan menampilkan referensinya: hapus satu, tambahkan lembar lain dari film itu, atau unggah milikmu sendiri, sampai sebanyak yang diterima model adegan tersebut.

Kamu juga bisa mulai dari sebuah alat. Setelah alat foto produk ke video membuat klip, Lanjutkan sebagai cerita membuka panel pembuatan dengan fotomu sebagai referensi @product dan brief yang menyebutnya.

4 gambar referensi pertama sudah termasuk dalam harga dasar video, dan setiap gambar setelahnya menambah harga lembar yang dibutuhkannya. Lembar yang kamu pilih dari film sebelumnya tidak menambah apa pun, karena dipakai apa adanya. Panel pembuatan menampilkan totalnya dalam kredit sebelum kamu menghasilkan video.