Pengeditan video AI
Apa itu motion transfer?
Transfer gerakan adalah edit video AI yang mengambil gerakan dari satu video dan menerapkannya pada karakter lain. Model membaca pose dan timing pemeran frame demi frame, lalu menghasilkan karakter baru, dari gambar atau deskripsi, yang melakukan gerakan yang sama dengan timing yang sama, dari tarian hingga angkat bahu.
Oleh tim DreamBench. Diperbarui .
Transfer gerakan secara singkat
Sekilas
- Disebut juga
- Motion control, transfer pose, atau transfer tarian, tergantung produknya.
- Input
- Video penggerak (performanya) dan target: gambar atau deskripsi karakter baru.
- Output
- Karakter baru melakukan gerakan yang sama, dengan ritme yang sama.
- Dipertahankan
- Pose, timing, sering kali juga kamera. Bukan wajah, tubuh, atau pakaian pemerannya.
- Cocok untuk
- Tarian dan tren, animasi karakter, iklan dengan maskot, pra-visualisasi.
- Kesulitan dengan
- Tangan, tungkai yang bersilangan, gerakan sangat cepat, tubuh yang jauh dari bentuk manusia.
Transfer gerakan, sebelum dan sesudah
Asli
Dengan MorphJika diperhatikan baik-baik, keduanya tidak identik frame demi frame. Morph menempatkan kamera lebih rendah dan lebih dekat, dan menampilkan lemparan pembuka sebagai close-up. Itu khas transfer gerakan generatif: ia membawa ketukan sebuah penampilan, timing dan posenya, sementara kamera dan detailnya dihasilkan ulang.
Cara kerja transfer gerakan
Penampilan
Klip seseorang yang bergerak: sumber gerakannya.
Gerakan
Pose mereka, dibaca frame demi frame: sendi dan ritme, tanpa penampilan.
Karakter baru
Karakter lain yang dihasilkan dalam pose yang sama pada momen yang sama.
Transfer gerakan bekerja dalam dua langkah. Pertama, model pose membaca pemeran di setiap frame: di mana kepala, bahu, siku, tangan, pinggul, lutut, dan kakinya. Hasilnya adalah kerangka yang bergerak tanpa penampilan mereka sama sekali.
Lalu model video menghasilkan karakter baru dengan kerangka itu sebagai panduan, frame demi frame, sementara gambar atau deskripsi menetapkan tampilan karakternya. Sistem riset seperti Everybody Dance Now (2018) dan Animate Anyone (2023) merintis pendekatan ini; model video saat ini menggabungkannya dalam satu proses, kadang juga membaca kedalaman dan wajah selain kerangka.
Langkah pemandunya sering dibangun seperti ControlNet, metode tahun 2023 yang menambahkan kontrol spasial, seperti tepi, kedalaman, dan pose manusia, ke model gambar yang sudah dilatih. Pose mengarahkan ke mana tubuh bergerak; model tetap menggambar semua yang lain.
Jenis transfer gerakan
| Yang dibaca | Terbawa | |
|---|---|---|
| Transfer pose seluruh tubuh | Kerangka: kepala, bahu, siku, tangan, pinggul, lutut, kaki | Tarian, jalan kaki, gestur, dan perkelahian, beserta ritmenya |
| Transfer wajah dan ekspresi | Titik-titik di wajah: mata, alis, mulut, arah kepala | Ekspresi, kedipan, gerakan kepala, dan bentuk mulut |
| Transfer gerakan kamera | Bagaimana kamera bergerak melewati adegan | Push-in, orbit, atau guncangan kamera genggam, bukan gerakan tubuh |
Transfer gerakan, motion capture, dan rotoskop
| Output | Dipakai untuk | |
|---|---|---|
| Transfer gerakan | Video jadi dengan karakter baru | Video media sosial, iklan, animasi singkat |
| Motion capture | Data animasi untuk rig 3D | Game, film, karakter 3D |
| Rotoscoping | Garis luar atau gambar yang dijiplak di atas rekaman | Efek visual, animasi gambar tangan |
Untuk apa orang memakai motion transfer
- Tren: tarian yang dibawakan hewan peliharaan, tokoh kartun, atau tokoh sejarah.
- Maskot dan karakter merek yang bergerak seperti presenter sungguhan.
- Animasi tanpa keyframe: peragakan gerakannya di ponsel, berikan ke karakter.
- Pra-visualisasi: susun adegan dengan pemeran pengganti, lalu lihat dengan karakter finalnya.
Di mana motion transfer gagal
- Tangan dan jari: kecil dan cepat, sering salah dibaca dan hasilnya buram atau berlebih.
- Tumpang tindih: lengan yang menyilang di depan tubuh atau dua orang yang bersentuhan membingungkan pembacaan pose.
- Tubuh yang sangat berbeda: tarian manusia yang diberikan ke ular atau mobil tidak punya sendi untuk dipetakan.
- Kecepatan: gerakan yang sangat cepat dan motion blur kehilangan frame kerangka.
- Konsistensi: wajah dan pakaian karakter baru bisa bergeser saat ia bergerak; lihat konsistensi temporal.
Kenapa Morph mengedit klipku, bukan meniru gerakannya? Morph membaca tugasnya dari kata-katamu: kalimat yang meminta seseorang melakukan, meniru, atau mengikuti gerakannya, atau menari seperti klipnya, membuat video baru dengan gerakan itu, begitu juga kalimat yang hanya menggambarkan seseorang di suatu tempat, seperti ‘rubah kartun di tanah lapang di hutan’. Kalimat yang dibuka dengan kata kerja perubahan, seperti ‘ganti’, ‘hapus’, atau ‘ubah’, mengedit klipnya di tempat, kecuali jika kalimat itu membuat seseorang melakukan gerakannya. Jika Morph salah membacamu, beralihlah ke Tiru gerakannya sebelum kamu menjalankannya; panel pembuatan menyebutkan di bawah kata-katamu mana dari keduanya yang akan dibuat.
Gunakan penampilan yang kamu rekam sendiri atau yang kamu punya haknya, dan jangan membuat orang sungguhan tampak melakukan sesuatu yang tidak mereka lakukan tanpa persetujuan mereka.
Transfer gerakan di DreamBench
Di Morph, pilih Transfer gerakan, unggah klip berdurasi 4 sampai 30 detik atau pilih template, lalu tandai karakter yang harus memerankannya dengan sebuah gambar. Morph mempertahankan timing aslinya. Ini salah satu dari lima edit yang dibuat Morph; lihat pengeditan video AI untuk yang lainnya.
| Batas | Artinya | |
|---|---|---|
| Klip penggerak | Unggahan MP4, MOV, atau WebM, atau template; jendela berdurasi 4 sampai 30 detik | Pilih bagian yang berisi gerakannya: harganya adalah biaya dasar tetap ditambah tarif per detik dari jendela itu, ditampilkan sebelum kamu menjalankannya. |
| Karakter | Hingga 4 gambar, PNG, JPEG, atau WebP, masing-masing 10 MB, disebut @Image1 sampai @Image4 dalam kata-katamu | Gambar karakter yang jelas menetapkan wajah, tubuh, dan pakaiannya; klip hanya menetapkan gerakannya. |
| Orang sungguhan | Tepat satu foto, orang yang melakukan gerakannya, dengan kotak dicentang bahwa itu kamu atau seseorang yang sudah setuju | Fotonya, termasuk latar belakangnya sendiri, digerakkan oleh klip di jalur yang menerima wajah. |
| Kata-katanya | Hingga 2000 karakter; ‘lakukan gerakan yang sama’ atau ‘menari seperti ini’ dengan sendirinya mengalihkan Morph ke Tiru gerakannya | Kalimat yang hanya menggambarkan karakter baru, tanpa kata kerja perubahan, juga dibaca sebagai gerakannya; ganti sendiri kalau tebakan Morph keliru. |
| Output | Pratinjau pada 480p, lalu Jadikan HD pada 1080p atau 720p; suara aslinya dipertahankan | Tarian tetap pada musiknya; render 1080p menyelesaikan take pratinjau, 720p merender dari awal. |
Pertanyaan
Apakah transfer gerakan itu deepfake atau face swap?
Bisa jadi deepfake: menggerakkan kartun atau karaktermu sendiri bukan deepfake, tetapi membuat orang sungguhan tampak melakukan sesuatu yang tidak mereka lakukan, tanpa persetujuan mereka, adalah deepfake, dan bisa ilegal di tempat tinggalmu. Ini bukan face swap: face swap mempertahankan videonya dan mengganti pemilik wajahnya, sedangkan transfer gerakan hanya mempertahankan gerakannya dan menghasilkan karakter baru, termasuk wajah dan tubuhnya.
Bagaimana cara membuat karakter menirukan tarian dari video?
Untuk membuat karakter menarikan tarian dari sebuah video, pakai klip satu orang yang seluruh tubuhnya masuk frame, berdurasi 4 hingga 30 detik, dengan kamera yang stabil. Di Morph pilih Transfer gerakan, unggah klipnya, dan tandai karakternya dengan sebuah gambar. Morph menjaga timing aslinya dan menghasilkan karakter yang membawakannya.
Apakah aku perlu model 3D untuk transfer gerakan?
Tidak. Transfer gerakan AI bekerja dari video dan gambar atau deskripsi. Motion capture untuk animasi 3D adalah metode yang membutuhkan rig.
Jenis gerakan apa yang paling andal ditransfer?
Satu orang, seluruh tubuh dalam frame, bergerak dengan kecepatan sedang dengan kamera yang hampir diam: tarian, langkah, dan gestur. Putaran cepat, anggota tubuh yang bersilang, tangan, dan dua orang yang bersentuhan paling tidak bisa diandalkan: tangan kecil dan cepat, jadi model pose sering salah membacanya dan model video memburamkan atau menambah jari, dan dua penampil yang bersilang atau bersentuhan membingungkan pembacaan pose, jadi transfer mereka satu per satu.
Bisakah video apa pun dipakai sebagai referensi gerakan?
Secara teknis sebagian besar klip bisa, tapi pakai hanya performa yang kamu rekam sendiri atau yang hak penggunaannya kamu miliki. Morph menerima klip berdurasi 4 hingga 30 detik.
Apa hubungan transfer gerakan dengan konsistensi karakter?
Transfer gerakan menentukan cara karakter bergerak; konsistensi karakter mempertahankan penampilannya. Hasil yang bagus butuh keduanya: gerakan yang tepat, dan wajah serta pakaian yang sama dari frame pertama sampai terakhir.
Apa yang membuat video penggerak bagus?
Satu orang, sepenuhnya di dalam frame, dengan latar belakang polos, dalam cahaya stabil, dengan kamera yang tidak banyak bergerak. Gerakan yang jelas dan tidak terlalu cepat paling baik ditransfer.
Apakah transfer gerakan mempertahankan gerakan kamera?
Biasanya, tapi tidak selalu. Ketukan dan posenya terbawa; alat generatif bisa mengubah framing, seperti yang dilakukan edit pertarungan di atas dengan menempatkan kamera lebih rendah dan lebih dekat. Minta kamera tetap seperti rekaman aslinya kalau itu penting.
Bisakah aku mentransfer gerakan manusia ke hewan atau kartun?
Ya, saat tubuhnya punya anggota badan yang bisa dipetakan kerangkanya: pertarungan di atas dibawakan oleh tiga kucing. Ular atau mobil tidak punya sendi untuk menerima posenya, jadi hasilnya melenceng.
Apakah transfer gerakan berbayar?
Beberapa alat menawarkan uji coba. Di DreamBench kamu membuat akun gratis dan memilih paket, dan setiap edit Morph memakai kredit dari paket itu.
Bisakah aku membuat diriku menarikan tarian dari sebuah video?
Ya. Untuk membuat dirimu sendiri menarikan tarian dari sebuah video di DreamBench, nyalakan Orang sungguhan di Morph, tambahkan tepat satu foto, orang yang melakukan gerakannya, dan centang kotak bahwa itu kamu atau seseorang yang sudah memberi izin. Fotonya, termasuk latar belakangnya sendiri, digerakkan oleh klip di jalur yang menerima wajah; secara bawaan Morph menolak wajah sungguhan. Pakai hanya wajahmu sendiri, atau wajah yang kamu punya izinnya.
Apakah transfer gerakan mempertahankan suara video aslinya?
Transfer gerakan di DreamBench mempertahankan suara video aslinya: suara asli klip dipasang kembali di bawah video baru di akhir, langkah yang ditampilkan sebagai Menambahkan suara, jadi tarian tetap pada musiknya dan sebuah kalimat tetap terdengar di tempat ia diucapkan. Sakelar Pertahankan suara klip aktif secara default; matikan untuk menambahkan trek milikmu sendiri di editor. Pakai hanya musik yang kamu punya haknya untuk diunggah.
Kenapa wajah karakterku berubah selama tariannya?
Wajah karaktermu berubah selama tarian karena setiap frame karakter baru dihasilkan, dengan kerangka hanya menetapkan ke mana tubuh bergerak; wajah digambar ulang di setiap frame dari gambarmu dan ingatan model, dan putaran cepat, tangan yang melintasi wajah, serta klip panjang memberinya lebih banyak peluang untuk bergeser. Pakai satu gambar karakter yang jelas dan terang, pilih bagian klip dengan gerakan lebih lambat, jaga jendelanya tetap pendek, dan render yang kamu simpan dalam HD.
Terkait
Ketentuan
Sumber
- Everybody Dance NowarXiv, dibaca pada
- Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character AnimationarXiv, dibaca pada
- Adding Conditional Control to Text-to-Image Diffusion ModelsarXiv, dibaca pada
DreamBench adalah platform independen dan tidak berafiliasi dengan atau didukung oleh perusahaan yang disebutkan di halaman ini.