Langsung ke konten

Pengeditan video AI

Apa itu motion transfer?

Transfer gerakan adalah edit video AI yang mengambil gerakan dari satu video dan menerapkannya pada karakter lain. Model membaca pose dan timing pemeran frame demi frame, lalu menghasilkan karakter baru, dari gambar atau deskripsi, yang melakukan gerakan yang sama dengan timing yang sama, dari tarian hingga angkat bahu.

Oleh tim DreamBench. Diperbarui .

Transfer gerakan secara singkat

Sekilas

Disebut juga
Motion control, transfer pose, atau transfer tarian, tergantung produknya.
Input
Video penggerak (performanya) dan target: gambar atau deskripsi karakter baru.
Output
Karakter baru melakukan gerakan yang sama, dengan ritme yang sama.
Dipertahankan
Pose, timing, sering kali juga kamera. Bukan wajah, tubuh, atau pakaian pemerannya.
Cocok untuk
Tarian dan tren, animasi karakter, iklan dengan maskot, pra-visualisasi.
Kesulitan dengan
Tangan, tungkai yang bersilangan, gerakan sangat cepat, tubuh yang jauh dari bentuk manusia.

Transfer gerakan, sebelum dan sesudah

Klip asli: Perkelahian jalananAsli
Klip yang sama dibuat dengan Morph: Perkelahian jalananDengan Morph
Morph · Perkelahian jalanan
Perkelahian jalanan sungguhan, dan perkelahian yang sama diperagakan oleh tiga kucing, dibuat dengan Morph. Geser garisnya untuk membandingkan. Mulai sekitar detik ketiga, gerakan yang sama terjadi pada saat yang sama di keduanya.

Jika diperhatikan baik-baik, keduanya tidak identik frame demi frame. Morph menempatkan kamera lebih rendah dan lebih dekat, dan menampilkan lemparan pembuka sebagai close-up. Itu khas transfer gerakan generatif: ia membawa ketukan sebuah penampilan, timing dan posenya, sementara kamera dan detailnya dihasilkan ulang.

Cara kerja transfer gerakan

Penampilan

Klip seseorang yang bergerak: sumber gerakannya.

Gerakan

Pose mereka, dibaca frame demi frame: sendi dan ritme, tanpa penampilan.

Karakter baru

Karakter lain yang dihasilkan dalam pose yang sama pada momen yang sama.

Tiga frame dari satu penampilan. Pose dibaca dari pemerannya lalu diberikan ke karakter baru.

Transfer gerakan bekerja dalam dua langkah. Pertama, model pose membaca pemeran di setiap frame: di mana kepala, bahu, siku, tangan, pinggul, lutut, dan kakinya. Hasilnya adalah kerangka yang bergerak tanpa penampilan mereka sama sekali.

Lalu model video menghasilkan karakter baru dengan kerangka itu sebagai panduan, frame demi frame, sementara gambar atau deskripsi menetapkan tampilan karakternya. Sistem riset seperti Everybody Dance Now (2018) dan Animate Anyone (2023) merintis pendekatan ini; model video saat ini menggabungkannya dalam satu proses, kadang juga membaca kedalaman dan wajah selain kerangka.

Langkah pemandunya sering dibangun seperti ControlNet, metode tahun 2023 yang menambahkan kontrol spasial, seperti tepi, kedalaman, dan pose manusia, ke model gambar yang sudah dilatih. Pose mengarahkan ke mana tubuh bergerak; model tetap menggambar semua yang lain.

Jenis transfer gerakan

Apa yang dibaca setiap jenis, dan apa yang dibawanya
Yang dibacaTerbawa
Transfer pose seluruh tubuhKerangka: kepala, bahu, siku, tangan, pinggul, lutut, kakiTarian, jalan kaki, gestur, dan perkelahian, beserta ritmenya
Transfer wajah dan ekspresiTitik-titik di wajah: mata, alis, mulut, arah kepalaEkspresi, kedipan, gerakan kepala, dan bentuk mulut
Transfer gerakan kameraBagaimana kamera bergerak melewati adeganPush-in, orbit, atau guncangan kamera genggam, bukan gerakan tubuh

Transfer gerakan, motion capture, dan rotoskop

Tiga cara memakai ulang sebuah gerakan
OutputDipakai untuk
Transfer gerakanVideo jadi dengan karakter baruVideo media sosial, iklan, animasi singkat
Motion captureData animasi untuk rig 3DGame, film, karakter 3D
RotoscopingGaris luar atau gambar yang dijiplak di atas rekamanEfek visual, animasi gambar tangan

Untuk apa orang memakai motion transfer

  • Tren: tarian yang dibawakan hewan peliharaan, tokoh kartun, atau tokoh sejarah.
  • Maskot dan karakter merek yang bergerak seperti presenter sungguhan.
  • Animasi tanpa keyframe: peragakan gerakannya di ponsel, berikan ke karakter.
  • Pra-visualisasi: susun adegan dengan pemeran pengganti, lalu lihat dengan karakter finalnya.

Di mana motion transfer gagal

  • Tangan dan jari: kecil dan cepat, sering salah dibaca dan hasilnya buram atau berlebih.
  • Tumpang tindih: lengan yang menyilang di depan tubuh atau dua orang yang bersentuhan membingungkan pembacaan pose.
  • Tubuh yang sangat berbeda: tarian manusia yang diberikan ke ular atau mobil tidak punya sendi untuk dipetakan.
  • Kecepatan: gerakan yang sangat cepat dan motion blur kehilangan frame kerangka.
  • Konsistensi: wajah dan pakaian karakter baru bisa bergeser saat ia bergerak; lihat konsistensi temporal.

Kenapa Morph mengedit klipku, bukan meniru gerakannya? Morph membaca tugasnya dari kata-katamu: kalimat yang meminta seseorang melakukan, meniru, atau mengikuti gerakannya, atau menari seperti klipnya, membuat video baru dengan gerakan itu, begitu juga kalimat yang hanya menggambarkan seseorang di suatu tempat, seperti ‘rubah kartun di tanah lapang di hutan’. Kalimat yang dibuka dengan kata kerja perubahan, seperti ‘ganti’, ‘hapus’, atau ‘ubah’, mengedit klipnya di tempat, kecuali jika kalimat itu membuat seseorang melakukan gerakannya. Jika Morph salah membacamu, beralihlah ke Tiru gerakannya sebelum kamu menjalankannya; panel pembuatan menyebutkan di bawah kata-katamu mana dari keduanya yang akan dibuat.

Gunakan penampilan yang kamu rekam sendiri atau yang kamu punya haknya, dan jangan membuat orang sungguhan tampak melakukan sesuatu yang tidak mereka lakukan tanpa persetujuan mereka.

Transfer gerakan di DreamBench

Di Morph, pilih Transfer gerakan, unggah klip berdurasi 4 sampai 30 detik atau pilih template, lalu tandai karakter yang harus memerankannya dengan sebuah gambar. Morph mempertahankan timing aslinya. Ini salah satu dari lima edit yang dibuat Morph; lihat pengeditan video AI untuk yang lainnya.

Transfer gerakan di DreamBench, dalam angka
BatasArtinya
Klip penggerakUnggahan MP4, MOV, atau WebM, atau template; jendela berdurasi 4 sampai 30 detikPilih bagian yang berisi gerakannya: harganya adalah biaya dasar tetap ditambah tarif per detik dari jendela itu, ditampilkan sebelum kamu menjalankannya.
KarakterHingga 4 gambar, PNG, JPEG, atau WebP, masing-masing 10 MB, disebut @Image1 sampai @Image4 dalam kata-katamuGambar karakter yang jelas menetapkan wajah, tubuh, dan pakaiannya; klip hanya menetapkan gerakannya.
Orang sungguhanTepat satu foto, orang yang melakukan gerakannya, dengan kotak dicentang bahwa itu kamu atau seseorang yang sudah setujuFotonya, termasuk latar belakangnya sendiri, digerakkan oleh klip di jalur yang menerima wajah.
Kata-katanyaHingga 2000 karakter; ‘lakukan gerakan yang sama’ atau ‘menari seperti ini’ dengan sendirinya mengalihkan Morph ke Tiru gerakannyaKalimat yang hanya menggambarkan karakter baru, tanpa kata kerja perubahan, juga dibaca sebagai gerakannya; ganti sendiri kalau tebakan Morph keliru.
OutputPratinjau pada 480p, lalu Jadikan HD pada 1080p atau 720p; suara aslinya dipertahankanTarian tetap pada musiknya; render 1080p menyelesaikan take pratinjau, 720p merender dari awal.

Pertanyaan

Apakah transfer gerakan itu deepfake atau face swap?

Bisa jadi deepfake: menggerakkan kartun atau karaktermu sendiri bukan deepfake, tetapi membuat orang sungguhan tampak melakukan sesuatu yang tidak mereka lakukan, tanpa persetujuan mereka, adalah deepfake, dan bisa ilegal di tempat tinggalmu. Ini bukan face swap: face swap mempertahankan videonya dan mengganti pemilik wajahnya, sedangkan transfer gerakan hanya mempertahankan gerakannya dan menghasilkan karakter baru, termasuk wajah dan tubuhnya.

Bagaimana cara membuat karakter menirukan tarian dari video?

Untuk membuat karakter menarikan tarian dari sebuah video, pakai klip satu orang yang seluruh tubuhnya masuk frame, berdurasi 4 hingga 30 detik, dengan kamera yang stabil. Di Morph pilih Transfer gerakan, unggah klipnya, dan tandai karakternya dengan sebuah gambar. Morph menjaga timing aslinya dan menghasilkan karakter yang membawakannya.

Apakah aku perlu model 3D untuk transfer gerakan?

Tidak. Transfer gerakan AI bekerja dari video dan gambar atau deskripsi. Motion capture untuk animasi 3D adalah metode yang membutuhkan rig.

Jenis gerakan apa yang paling andal ditransfer?

Satu orang, seluruh tubuh dalam frame, bergerak dengan kecepatan sedang dengan kamera yang hampir diam: tarian, langkah, dan gestur. Putaran cepat, anggota tubuh yang bersilang, tangan, dan dua orang yang bersentuhan paling tidak bisa diandalkan: tangan kecil dan cepat, jadi model pose sering salah membacanya dan model video memburamkan atau menambah jari, dan dua penampil yang bersilang atau bersentuhan membingungkan pembacaan pose, jadi transfer mereka satu per satu.

Bisakah video apa pun dipakai sebagai referensi gerakan?

Secara teknis sebagian besar klip bisa, tapi pakai hanya performa yang kamu rekam sendiri atau yang hak penggunaannya kamu miliki. Morph menerima klip berdurasi 4 hingga 30 detik.

Apa hubungan transfer gerakan dengan konsistensi karakter?

Transfer gerakan menentukan cara karakter bergerak; konsistensi karakter mempertahankan penampilannya. Hasil yang bagus butuh keduanya: gerakan yang tepat, dan wajah serta pakaian yang sama dari frame pertama sampai terakhir.

Apa yang membuat video penggerak bagus?

Satu orang, sepenuhnya di dalam frame, dengan latar belakang polos, dalam cahaya stabil, dengan kamera yang tidak banyak bergerak. Gerakan yang jelas dan tidak terlalu cepat paling baik ditransfer.

Apakah transfer gerakan mempertahankan gerakan kamera?

Biasanya, tapi tidak selalu. Ketukan dan posenya terbawa; alat generatif bisa mengubah framing, seperti yang dilakukan edit pertarungan di atas dengan menempatkan kamera lebih rendah dan lebih dekat. Minta kamera tetap seperti rekaman aslinya kalau itu penting.

Bisakah aku mentransfer gerakan manusia ke hewan atau kartun?

Ya, saat tubuhnya punya anggota badan yang bisa dipetakan kerangkanya: pertarungan di atas dibawakan oleh tiga kucing. Ular atau mobil tidak punya sendi untuk menerima posenya, jadi hasilnya melenceng.

Apakah transfer gerakan berbayar?

Beberapa alat menawarkan uji coba. Di DreamBench kamu membuat akun gratis dan memilih paket, dan setiap edit Morph memakai kredit dari paket itu.

Bisakah aku membuat diriku menarikan tarian dari sebuah video?

Ya. Untuk membuat dirimu sendiri menarikan tarian dari sebuah video di DreamBench, nyalakan Orang sungguhan di Morph, tambahkan tepat satu foto, orang yang melakukan gerakannya, dan centang kotak bahwa itu kamu atau seseorang yang sudah memberi izin. Fotonya, termasuk latar belakangnya sendiri, digerakkan oleh klip di jalur yang menerima wajah; secara bawaan Morph menolak wajah sungguhan. Pakai hanya wajahmu sendiri, atau wajah yang kamu punya izinnya.

Apakah transfer gerakan mempertahankan suara video aslinya?

Transfer gerakan di DreamBench mempertahankan suara video aslinya: suara asli klip dipasang kembali di bawah video baru di akhir, langkah yang ditampilkan sebagai Menambahkan suara, jadi tarian tetap pada musiknya dan sebuah kalimat tetap terdengar di tempat ia diucapkan. Sakelar Pertahankan suara klip aktif secara default; matikan untuk menambahkan trek milikmu sendiri di editor. Pakai hanya musik yang kamu punya haknya untuk diunggah.

Kenapa wajah karakterku berubah selama tariannya?

Wajah karaktermu berubah selama tarian karena setiap frame karakter baru dihasilkan, dengan kerangka hanya menetapkan ke mana tubuh bergerak; wajah digambar ulang di setiap frame dari gambarmu dan ingatan model, dan putaran cepat, tangan yang melintasi wajah, serta klip panjang memberinya lebih banyak peluang untuk bergeser. Pakai satu gambar karakter yang jelas dan terang, pilih bagian klip dengan gerakan lebih lambat, jaga jendelanya tetap pendek, dan render yang kamu simpan dalam HD.

Lainnya dari Glosarium

Sumber

DreamBench adalah platform independen dan tidak berafiliasi dengan atau didukung oleh perusahaan yang disebutkan di halaman ini.