Pengeditan video AI
Apa itu edit video AI?
Edit video AI adalah memakai AI untuk mengubah video. Alat bantu mempercepat editing biasa: memotong bagian hening, menambah caption, mengatur ulang frame. Edit generatif, pokok bahasan halaman ini, mengubah apa yang ada di dalam frame: menukar, menghapus, menambah, atau mengganti gaya sesuatu di klip asli sementara timing dan kameranya tetap seperti semula.
Oleh tim DreamBench. Diperbarui .
Sekilas tentang pengeditan video AI
Sekilas
- Yang dimasukkan
- Video, instruksi, dan sering kali gambar dari apa yang harus muncul.
- Yang dihasilkan
- Klip yang sama, dengan bagian yang kamu sebutkan diubah dan sisanya dipertahankan.
- Edit utama
- Menukar, menambah, menghapus, mengganti gaya, dan mentransfer gerakan ke karakter baru.
- Yang dipertahankan
- Ritme, gerakan kamera, dan, kecuali kamu mengubahnya, orang dan tempatnya.
- Masih sulit
- Gerakan cepat, benda yang saling melintas di depan satu sama lain, rambut dan asap, serta klip panjang.
Tukar sesuatu
Satu orang, objek, atau makhluk diganti; gerakannya tetap.
Tambah sesuatu
Objek atau karakter baru bergabung ke dalam adegan dan bergerak bersamanya.
Hapus sesuatu
Objeknya hilang; latar belakang di baliknya diisi.
Ubah tampilan
Gaya, era, atau pencahayaannya berubah; bentuk dan gerakannya tetap.
Transfer gerakan
Gerakan dari satu klip menggerakkan karakter lain.
Edit mana yang aku butuhkan?
Ganti orang atau objek: Tukar: gerakan dan timing orangnya dipertahankan dan karakter atau objek baru dihasilkan menggantikannya, dari gambar atau deskripsi. Di Morph, pilih Tukar sesuatu dan tandai penggantinya dengan sebuah gambar.
Taruh sesuatu yang baru di adegan: Tambah: adegan asli dan gerakannya tetap, dan objek atau karakter baru dihasilkan ke dalamnya. Di Morph, pilih Tambah sesuatu dan katakan di mana letaknya.
Hilangkan sesuatu: Penghapusan, yaitu inpainting video: objeknya hilang dan latar belakang di belakangnya diisi di setiap frame. Di Morph, pilih Hapus sesuatu dan sebutkan juga bayangan dan pantulannya.
Ubah seluruh tampilan: Ganti gaya: garis luar, kedalaman, dan gerakan setiap frame dipertahankan dan permukaannya dicat ulang dalam gaya yang kamu sebut, dari anime sampai claymation. Di Morph, pilih Ubah tampilan.
Buat karakter lain menirukan gerakannya: Transfer gerakan: pose dan timing dibaca dari klip, lalu karakter baru yang memperagakannya. Di Morph, pilih Transfer gerakan dan tandai karakternya dengan sebuah gambar.
Dua jenis pengeditan video AI
Sebagian besar AI di aplikasi edit sehari-hari membantu editor: menemukan potongan, menghapus jeda hening, menulis teks, dan me-reframe klip untuk ponsel. AI itu bekerja pada rekaman yang kamu ambil. Pengeditan generatif mengubah rekamannya sendiri.
| Fungsinya | Membuat piksel baru | Contoh | |
|---|---|---|---|
| Asistif | Mempercepat pengeditan biasa | Tidak | Memotong jeda hening, membuat teks, reframe, memilih take yang paling bagus |
| Generatif | Mengubah isi frame | Ya | Menukar orang, menghapus objek, mengganti gaya adegan, mentransfer gerakan |
DreamBench mengerjakan jenis yang generatif, dengan Morph. Bagian lain halaman ini membahasnya.
Dua editan video AI sungguhan, sebelum dan sesudah
Keduanya dibuat dengan Morph dari klip asli. Geser garisnya di setiap klip untuk membandingkan aslinya dengan hasil edit.
Asli
Dengan MorphGanti latar belakang menjadi @livingroom, dengan tata letak seperti @floorplan, tapi tukar 3 kucing dengan @yickshuncat, @oreo, dan @mango.
Asli
Dengan MorphBedanya edit video AI dengan edit tradisional
Pengeditan tradisional menyusun rekaman yang sudah difilmkan: potong, pangkas, urutkan ulang, atur warna, tambahkan judul. Efek visual mengubah apa yang ada di dalam frame, tetapi secara manual, frame demi frame, dengan mask dan tracking. Pengeditan video AI meminta model untuk membuat perubahan itu, dan model menghasilkan piksel baru untuk setiap frame sekaligus.
| Pengeditan tradisional | Efek visual secara manual | Pengeditan video AI | |
|---|---|---|---|
| Perubahan | Urutan, durasi, warna, suara | Apa pun di dalam frame | Apa pun yang bisa kamu jelaskan |
| Caranya | Memotong frame yang ada | Mask, tracking, dan compositing, frame demi frame | Model menghasilkan piksel baru |
| Durasi per shot | Menit | Berjam-jam hingga berhari-hari | Menit, plus percobaan ulang |
| Kontrol | Persis | Persis, dengan keahlian | Perkiraan: kamu mengarahkan dengan kata-kata dan gambar |
Cara kerja edit video AI
Edit video AI bekerja dalam empat langkah: model menemukan area yang kamu sebut, mengikutinya di setiap frame, menghasilkan penggantinya, dan memadukan hasilnya agar stabil dari frame ke frame. Model berpijak pada gerakan klip asli, jadi piksel baru bergerak bersama piksel lama.
Video sumber
Klip yang kamu unggah: gerakan, ritme, dan kameranya tetap menjadi tulang punggung.
Temukan areanya
Model menemukan apa yang kamu sebutkan dan mengikutinya di setiap frame.
Hasilkan perubahannya
Piksel baru hanya untuk area itu: wajah baru, objek tambahan, latar belakang kosong.
Membaur seiring waktu
Cahaya, bayangan, dan gerakan disesuaikan agar perubahannya bertahan dari frame ke frame.
Video hasil edit
Semua yang tidak kamu sebut seharusnya tetap terlihat seperti semula.
Menemukan dan mengikuti area
Model segmentasi menggarisbesarkan objek di satu frame dan melacaknya di frame lainnya, bahkan saat objek itu berbalik atau sesaat tersembunyi. SAM 2 dari Meta adalah contoh yang banyak dipakai. Untuk tepi lembut seperti rambut, model matting memberi setiap piksel kadar transparansi, bukan sekadar ya atau tidak.
Mask
Setiap piksel masuk atau keluar. Cukup untuk benda padat, tetapi kotak-kotak pada rambut, asap, atau motion blur.
Matte
Setiap piksel punya kadar transparansi, dari 0 hingga 100%, jadi helai rambut yang lepas tetap terlihat lembut.
Menghasilkan perubahannya
Untuk menghapus sesuatu, model mengisi lubangnya dengan apa yang kemungkinan ada di belakangnya, meminjam piksel dari frame di sekitarnya saat latar belakang itu terlihat: inilah video inpainting. Untuk menukar atau menambah, model menghasilkan subjek baru di dalam area itu, dipandu oleh kata-katamu atau gambar referensi. Untuk mengganti gaya, model mempertahankan garis luar dan kedalaman setiap frame lalu melukis ulang permukaannya.
Menjaganya tetap stabil
Bagian sulitnya bukan satu frame yang bagus, melainkan 24 frame bagus per detik yang selaras. Model edit berpatokan pada gerakan klip asli, sehingga piksel baru bergerak bersama piksel lama. Saat itu gagal, kamu melihat kedipan, wajah tukaran yang bergeser, atau objek yang sudah dihapus muncul kembali samar-samar: kegagalan konsistensi temporal.
Jenis-jenis edit video AI
| Perubahan | Dipertahankan | Disebut juga | |
|---|---|---|---|
| Tukar sesuatu | Satu orang, objek, atau makhluk | Gerakan, kamera, dan lainnya | Tukar karakter, ganti objek, tukar wajah |
| Tambah sesuatu | Objek atau karakter baru dalam adegan | Adegan asli dan gerakannya | Penyisipan objek |
| Hapus sesuatu | Objek, orang, papan tanda, mikrofon boom | Latar belakang di baliknya, diisi | Inpainting video, penghapusan objek |
| Ubah tampilan | Tampilan: gaya, era, musim, cahaya | Bentuk, komposisi, dan gerakan | Transfer gaya video, render ulang |
| Transfer gerakan | Siapa yang bergerak | Gerakannya, ketukan demi ketukan | Transfer gerakan, transfer pose |
Penampilan
Klip seseorang yang bergerak: sumber gerakannya.
Gerakan
Pose mereka, dibaca frame demi frame: sendi dan ritme, tanpa penampilan.
Karakter baru
Karakter lain yang dihasilkan dalam pose yang sama pada momen yang sama.
Cara menulis instruksi edit video AI
Instruksi edit bekerja paling baik jika menyebutkan apa yang berubah, berubah menjadi apa, dan apa yang harus tetap. Sebut benda seperti tampilannya di klip, dan beri model gambar untuk apa pun yang harus ia karang.
| Samar | Presisi | |
|---|---|---|
| Tukar | Jadikan mereka kucing. | Swap the 3 kittens for @yickshuncat, @oreo and @mango (with a picture of each), keep the dance. |
| Latar belakang | Ganti ruangannya. | Change the background to @livingroom, laid out as in @floorplan. |
| Hapus | Bersihkan. | Hapus pria berjaket merah yang berjalan di belakangnya, beserta bayangannya. |
| Ganti gaya | Buat tampilannya keren. | Ganti gaya seluruh klip menjadi anime gambar tangan, pertahankan gerakan kamera dan timing-nya. |
Dua baris pertama adalah prompt di balik anak-anak kucing di atas: nama dengan @ merujuk pada gambar yang diberikan kepada Morph.
Tempat orang memakai edit video AI
- Iklan: satu foto produk dalam banyak versi, produk ditukar, adegan diganti gayanya untuk satu musim.
- Video media sosial: tarian tren yang dibawakan karakter lain, klip yang diubah gayanya menjadi anime atau claymation.
- Pembersihan: orang yang lewat, mikrofon boom, atau papan nama dihapus dari shot yang tidak bisa direkam ulang.
- Pra-visualisasi: rekaman kasar dari ponsel, diubah menjadi tampilan film finalnya.
- Lokalisasi: adegan yang sama dengan presenter atau produk berbeda untuk setiap pasar.
Di mana edit video AI gagal
- Gerakan cepat dan motion blur: model kehilangan jejak area itu, dan editannya bergeser.
- Oklusi: saat sesuatu lewat di depan subjek, hasil tukarnya bisa berkedip atau robek.
- Tepi yang halus: rambut, asap, kaca, dan air sulit dipisahkan dari latar belakang.
- Besarnya perubahan: perubahan kecil lebih bertahan daripada adegan yang sama sekali baru; minta satu hal dalam satu waktu.
- Durasi: edit dilakukan pada klip pendek; video panjang diedit per bagian.
Kenapa editan AI-ku terlihat buram atau beresolusi rendah? Di DreamBench, pratinjau Morph adalah draf 480p, dibuat untuk memeriksa bahwa editnya sudah benar sebelum membayar render penuh; Jadikan HD merendernya di 1080p dan menyelesaikan take yang sama, atau di 720p sebagai render baru. Klip yang sejak awal buram, goyang, atau dikompresi berat memberi model lebih sedikit yang bisa dilacak, jadi editnya lebih banyak meleset; mulai dari ekspor terbersih yang kamu punya.
Mengubah siapa yang muncul di video bisa menipu. Edit hanya orang yang sudah setuju, jangan pernah menampilkan hasil edit sebagai rekaman asli, dan ikuti aturan platform tempat kamu memposting.
Cara DreamBench mengedit video
Morph mengedit klip berdurasi 4 sampai 30 detik. Kamu mengunggah video atau memilih template, menandai karakter atau objek yang kamu inginkan di dalamnya dengan gambar, lalu mengatakan apa yang harus dilakukan: menukar sesuatu, menambah sesuatu, menghapus sesuatu, mengubah tampilan, atau mentransfer gerakan. Morph mempertahankan gerakan dan timing aslinya, juga suara asli klip kecuali kamu mematikannya.
| Batas | Artinya | |
|---|---|---|
| Klipnya | Unggahan MP4, MOV, atau WebM, atau template; Morph mengedit jendela berdurasi 4 sampai 30 detik darinya | Pilih bagian dari video yang lebih panjang yang perlu diedit; sisanya tetap seperti direkam dan disambungkan kembali di editormu. |
| Orang sungguhan | Hingga 15 detik dari klip untuk edit yang memuat orang sungguhan, dengan kotak dicentang bahwa itu kamu atau orang yang sudah setuju | Editnya lalu dirender di jalur yang menerima wajah; secara bawaan Morph menolak wajah sungguhan, dan proses yang ditolak tidak memakai kredit. |
| Gambar | Hingga 4, PNG, JPEG, atau WebP, masing-masing 10 MB, disebut @Image1 sampai @Image4 dalam kata-katamu | Gambar dari setiap hal yang harus dikarang Morph: kucing-kucing dan ruangannya dalam edit anak kucing di atas. |
| Kata-kata | Hingga 2000 karakter, atau pilih Edit videonya atau Tiru gerakannya | Morph membaca tugas mana yang kamu maksud dari kata-katanya; kata seperti ‘tiru gerakannya’ mengalihkannya ke video baru dengan gerakan dari klip itu. |
| Output | Pratinjau pada 480p, lalu Jadikan HD pada 1080p atau 720p | Pratinjau adalah draf dari take; render 1080p menyelesaikan take yang sama, 720p merender dari awal. |
| Suara | Pertahankan suara klip, aktif secara default | Suara aslinya dipasang kembali di bawah editan pada akhirnya; matikan untuk menambahkan trek milikmu sendiri di editor. |
Pertanyaan
Apakah pengeditan video AI sama dengan video ke video?
Sebagian besar, ya. Video ke video adalah mode model: video masuk dan video keluar. Pengeditan video AI adalah apa yang kamu lakukan dengannya: menukar, menghapus, menambah, mengganti gaya, atau mentransfer gerakan.
Bisakah AI menghapus objek dari video?
Ya. Video inpainting menghapus objek dan mengisi areanya dengan apa yang kemungkinan ada di belakangnya, memakai frame saat latar belakang terlihat. Paling berhasil pada objek kecil dan shot yang stabil.
Bisakah AI mengedit videoku secara otomatis?
AI bisa mengedit video secara otomatis dalam arti membantu: menemukan titik potong, menghapus bagian hening, menambah caption, dan mengatur ulang frame untuk ponsel, dengan kamu yang menyesuaikan hasilnya. Edit generatif berbeda: kamu bilang apa yang diubah di dalam frame, seperti tukar, hapus, atau ganti gaya, dan model menghasilkannya. DreamBench melakukan jenis generatif, dengan Morph, dan menyerahkan pemotongan dan caption ke editormu.
Bisakah AI mengganti background video?
Ya. Editor generatif mempertahankan subjek dan gerakannya dan menghasilkan adegan baru di belakangnya, dari deskripsi atau gambar tempatnya. Edit anak kucing di atas menukar jalan malam dengan ruang tamu dari gambar-gambar ruangan itu.
Bisakah AI mengganti orang di dalam video?
Ya: penukaran mempertahankan gerakan dan timing orangnya dan menghasilkan karakter baru di tempatnya, dari gambar atau deskripsi. Ini membutuhkan persetujuan siapa pun orang sungguhan yang ditampilkan, dan sebagian besar platform mewajibkan hasilnya diberi label.
Bisakah AI mengubah video asli jadi anime atau claymation?
Ya. Ubah gaya mempertahankan garis tepi, kedalaman, dan gerakan setiap frame dan mengecat ulang permukaannya dalam gaya yang kamu sebut; gerakan kamera dan timing-nya tetap seperti rekaman aslinya.
Apakah pengeditan video AI mengubah seluruh klip?
Seharusnya tidak. Edit yang baik hanya mengubah apa yang kamu sebutkan dan mempertahankan yang lainnya. Dalam praktiknya beberapa detail bergeser, jadi bandingkan hasilnya dengan aslinya sebelum kamu memakainya.
Seberapa panjang klip yang bisa diedit AI?
Sebagian besar model edit generatif bekerja pada klip pendek berdurasi beberapa detik, bukan menit. Morph menerima klip 4 sampai 30 detik; video yang lebih panjang diedit per bagian.
Apakah AI akan menggantikan editor video?
Tidak dalam hal penilaian. AI membuat beberapa pekerjaan lambat jadi cepat, seperti menghapus objek atau menemukan potongan, tapi memilih cerita, tempo, dan apa yang dipertahankan tetap di tangan manusia.
Apakah menukar wajah dalam video itu legal?
Tergantung negara dan persetujuan. Menukar wajah seseorang tanpa izin bisa melanggar hukum tentang citra diri, privasi, atau deepfake, dan sebagian besar platform mewajibkan video yang diubah AI diberi label: YouTube meminta kreator mengungkapkan konten realistis yang diubah secara berarti atau dibuat dengan AI, dan menambahkan label.
Apakah edit AI mempertahankan suara aslinya?
Di DreamBench, Morph mempertahankan suara asli klip: sakelar Pertahankan suara klip aktif secara default, dan suara aslinya dipasang kembali di bawah edit di akhir, langkah yang ditampilkan sebagai Menambahkan suara. Matikan kalau kamu lebih suka menambahkan trek milikmu sendiri di editor sesudahnya. Transfer gerakan mempertahankan suara aslinya dengan cara yang sama, jadi tarian tetap pada musiknya.
Apakah edit video AI berbayar?
Banyak editor berbantuan menyertakan pemotongan dan caption di tingkat dasar. Untuk edit generatif di DreamBench kamu membuat akun gratis dan memilih paket, dan setiap edit Morph memakai kredit dari paket itu.
Resolusi apa yang dihasilkan video yang diedit AI?
Video yang diedit AI di DreamBench keluar sebagai Pratinjau pada 480p lebih dulu, sebuah draf untuk memeriksa bahwa editnya sesuai permintaanmu. Jadikan HD lalu merendernya pada 1080p, menyelesaikan take yang sama, atau pada 720p sebagai render baru; kamu memilihnya saat menjadikannya HD. Dengan orang sungguhan di dalam klip, edit dirender di jalur yang berbeda, yang tidak menerima pilihan resolusi. Unduh hasilnya sebagai MP4 yang siap untuk TikTok, Reels, dan Shorts.
Bisakah aku mengedit video dengan AI di ponselku?
Ya. Morph bekerja di browser ponsel, tanpa perlu memasang apa pun: unggah MP4, MOV, atau WebM langsung dari ponsel, tambahkan gambar dari galerimu, katakan apa yang harus diubah, dan unduh hasilnya. Klip langsung masuk ke penyimpanan, bukan lewat halaman, jadi file seukuran yang dibuat ponsel itu normal, dan kamu memilih 4 sampai 30 detik bagian klip yang perlu diedit.
Berapa lama edit video AI berlangsung?
Edit video AI di DreamBench memakan waktu bermenit-menit, bukan detik: Morph menyiapkan klip, menyerahkannya ke layanan video, yang mungkin mengantrekannya dan menampilkan posisimu dalam antrean, merender editnya, dan memasang kembali suaranya di akhir. Saat pertama kali sebuah klip atau gambar-gambarmu dikirim ke layanan itu, keduanya diperiksa dan disetujui layanan lebih dulu, yang menambah beberapa menit satu kali saja.
Bisakah aku memakai video yang diedit AI untuk keperluan komersial?
Ya, di DreamBench. Berdasarkan Ketentuan DreamBench, kamu boleh memakai hasil buatan Morph untuk keperluan pribadi dan komersial, termasuk iklan, konten yang dimonetisasi, dan pekerjaan untuk klien, tanpa upgrade terpisah untuk penggunaan komersial. Ketentuan tidak menjamin hak cipta atas hasil atau membereskan hak orang lain dalam unggahanmu, jadi edit hanya rekaman, wajah, dan musik yang hak-nya kamu miliki, dapatkan persetujuan dari siapa pun orang sungguhan yang ditampilkan, dan beri label pada hasilnya di platform yang mewajibkannya.
Terkait
Ketentuan
- Transfer gerakanAI yang mengambil gerakan dari satu video dan memberikannya ke karakter lain.
- Video inpaintingMengisi area pada video agar cocok di setiap frame, begitulah cara AI menghapus objek dan orang.
- Konsistensi temporalSeberapa baik video AI menjaga segala sesuatu tetap sama dari frame ke frame, tanpa kedipan atau pergeseran.
- Penghapusan latar belakangMemisahkan subjek foto dari apa yang ada di belakangnya, dengan model segmentasi atau matting.
Sumber
- SAM 2: Segment Anything in Images and VideosarXiv, dibaca pada
- Bantuan YouTube: Mengungkapkan penggunaan konten GenAIYouTube, dibaca pada
DreamBench adalah platform independen dan tidak berafiliasi dengan atau didukung oleh perusahaan yang disebutkan di halaman ini.