Generasi video AI
Apa itu gambar ke video?
Gambar ke video adalah pembuatan video AI yang dimulai dari gambar diam dan menghasilkan gerakan lanjutannya dari prompt. Gambarmu menjadi frame pertama, persis apa adanya, atau referensi yang menjaga subjek tetap dikenali, dan model menambahkan gerakannya: orang yang menoleh, ombak yang pecah, kamera yang bergerak mendekat.
Oleh tim DreamBench. Diperbarui .
Sekilas tentang gambar ke video
Sekilas
- Input
- Satu gambar dan sebuah prompt; di beberapa model, juga frame terakhir.
- Output
- Klip pendek, biasanya 4 hingga 15 detik per shot, sering kali dengan suara.
- Ditetapkan olehmu
- Frame pertama, persis seperti gambarmu.
- Model yang menentukan
- Semua setelahnya: gerakan, kamera, dan apa yang mulai terlihat.
- Kesulitan dengan
- Wajah yang menoleh lalu kembali, tangan, teks, dan perubahan besar dari gambar.
Cara kerja gambar ke video
Gambar ke video bekerja dengan menempatkan gambarmu sebagai frame pertama dari klip yang selebihnya berupa noise, menandainya sebagai frame yang dipertahankan, dan menghasilkan sisanya di sampingnya. Encoder kedua membaca isi gambar supaya tampilannya terbawa ke frame yang tidak pernah ditampilkannya. Prompt hanya mengarahkan gerakan.
Gambar menentukan pembuka klip, jadi model jauh lebih sedikit mengarang dibanding teks ke video. Yang masih dikarangnya adalah semua yang tidak terlihat di gambar: bagian belakang kepala, sisa ruangan, apa yang terjadi selanjutnya.
Di balik layar: cara gambar mengarahkan model
Model terbuka Wan mendokumentasikan satu desain yang umum. Gambar dikompres oleh encoder yang sama dengan video dan ditempatkan sebagai frame pertama, dengan frame kosong setelahnya. Sebuah mask menandai frame itu untuk dipertahankan, dan model menghasilkan sisanya dari noise di sampingnya.
Encoder kedua membaca isi gambar dan ikut memasukkannya, sehingga tampilannya terbawa ke frame yang tidak pernah ditunjukkan gambar itu. Menandai frame terakhir untuk dipertahankan dengan mask yang sama adalah cara metode ini diperluas menjadi frame pertama dan terakhir.
Cara menulis prompt gambar ke video
Gambarkan apa yang bergerak dan bagaimana kamera bergerak, bukan adegannya: gambarnya sudah menetapkan subjek, cahaya, dan gaya. “Dia menoleh ke jendela; push in pelan; tirai terangkat ditiup angin” sudah cukup.
Frame pertama, frame terakhir, atau referensi
Gambar bisa memainkan tiga peran dalam video. Peran yang kamu pilih menentukan seberapa banyak klip itu berasal darimu dan seberapa banyak dibuat model.
Pertama
Dibuat
Dibuat
Dibuat
Dibuat
Akhir
Kamu menetapkan kedua ujungnya. Model menciptakan jalur di antaranya yang mengikuti prompt, jadi makin jauh jarak kedua frame, makin banyak yang harus diciptakannya.
| Klipnya | Yang kamu perbaiki | Cocok untuk | |
|---|---|---|---|
| Frame pertama | Dibuka tepat pada gambarmu | Pembukaan | Menganimasikan foto, foto produk, atau frame yang kamu desain |
| Frame pertama dan terakhir | Dimulai dari satu gambar dan berakhir di gambar lain | Kedua ujung | Transisi, pengungkapan, sebelum dan sesudah |
| Referensi | Shot baru dengan subjekmu di dalamnya | Siapa atau apa yang muncul | Karakter atau produk yang sama di banyak shot |
Model video yang menerima frame pertama dan terakhir
Model video berbeda dalam cara memakai gambar: sebagian bisa diberi tahu di mana harus berakhir selain di mana harus dimulai, sebagian lagi tidak. Tabel ini dibaca dari pengaturan yang sama yang dipakai panel pembuatan DreamBench:
| Model | Suara | Frame pertama dan terakhir | Resolusi | Rasio aspek |
|---|---|---|---|---|
| Seedance 2.5 | Aktif atau nonaktif | Ya | 480p, 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Seedance 2.0 | Aktif atau nonaktif | Ya | 720p, 1080p, 4K | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Veo 3.1 | Selalu aktif | Ya | 720p, 1080p, 4K | 16:9 · 9:16 |
| Kling 4.0 | Selalu aktif | Ya | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Kling 3.0 | Aktif atau nonaktif | Ya | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Wan 3.0 | Selalu aktif | Ya | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
| Wan 2.7 | Aktif atau nonaktif | Ya | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
| Grok Imagine 1.5 | Selalu aktif | Hanya frame pertama | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
| MiniMax H3 | Selalu aktif | Ya | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| HappyHorse 1.1 | Selalu aktif | Hanya frame pertama | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| LTX-2.3 | Aktif atau nonaktif | Ya | 720p, 1080p, 4K | 16:9 · 9:16 |
| Vidu Q2 | Aktif atau nonaktif | Hanya frame pertama | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
“Hanya frame pertama” berarti model dimulai dari gambarmu tetapi tidak bisa diberi tahu di mana harus berakhir. Pilih model dengan frame pertama dan terakhir untuk transisi dan reveal.
Cara membuat gambar diam bergerak
| Yang bergerak | Yang dipertahankan | |
|---|---|---|
| Gambar ke video | Subjek, adegan, dan kamera, semuanya dihasilkan baru | Frame pertama; setelah itu, hanya apa yang dipertahankan model |
| Pan dan zoom (efek Ken Burns) | Hanya kamera virtual yang meluncur di atas foto | Setiap piksel: tidak ada yang dibuat baru |
| Foto berbicara | Wajah, diselaraskan dengan ucapan | Sebagian besar gambar, yang tetap diam |
Tempat orang memakai gambar ke video
- Menghidupkan foto keluarga lama.
- Mengubah foto produk menjadi iklan pendek.
- Menganimasikan logo untuk intro atau outro, dengan klip yang dibuat berakhir pada logo seperti yang diunggah.
- Menganimasikan karakter atau adegan yang dibuat dengan model gambar.
- Postingan media sosial yang bergerak, bukan diam.
- Membuka film dengan frame yang kamu rancang, lalu menghasilkan sisa shot-nya.
Yang tidak bisa dilakukan gambar ke video
- Gerakannya diciptakan: apa yang terjadi setelah foto diambil tidak pernah terekam.
- Wajah yang menoleh lalu kembali bisa muncul sedikit berbeda: kegagalan konsistensi temporal.
- Semakin jauh klip bergerak dari gambarnya, semakin sedikit bagian gambar yang tersisa untuk menjaganya tetap di jalur.
- Beberapa model menolak sebagian foto. Di DreamBench, Seedance tidak menerima gambar referensi yang menampilkan wajah orang sungguhan.
- Animasikan hanya foto yang berhak kamu gunakan, dan minta izin sebelum menganimasikan foto orang lain.
Kenapa fotoku terpotong di video? Di panel pembuatan, bingkai dipilih lebih dulu, dan frame awal diskalakan untuk memenuhinya lalu dipotong di tengah, jadi foto 4:3 dalam klip 16:9 kehilangan bagian atas dan bawahnya. Potong dulu foto ke bentuk klipnya, atau perluas ke bentuk itu dengan alat Perluas gambar dengan AI. Alat satu foto mempertahankan bentuk foto itu sendiri; foto yang buram atau kecil lebih bagus dianimasikan setelah lewat penajam foto AI.
Cara DreamBench mengubah gambar menjadi video
Alat ubah foto jadi video menganimasikan satu foto menjadi klip pendek yang dibuka dengan foto itu, dan animasikan foto lama disiapkan untuk foto keluarga.
Hasil DreamBench apa pun juga bisa dibuka di panel pembuatan sebagai gambar referensi: potongan, foto yang dipulihkan, frame yang diperluas dengan Perluas gambar dengan AI. DreamBench menulis adegannya dan merendernya di model video yang kamu pilih, seperti Seedance 2.5, Veo 3.1, atau Kling 3.0.
| Alat gambar ke video | Panel pembuatan | |
|---|---|---|
| Input | Satu foto hingga 40 MB, JPEG, PNG, WebP, atau format apa pun yang bisa dibuka browsermu, diskalakan ke 2048 piksel di sisi panjangnya sebelum diproses | Hingga 8 gambar referensi dalam satu film, frame pertama dan, pada model yang menerimanya, frame terakhir |
| Durasi | Lima detik | 4 sampai 300 detik, dibatasi paket: 30 detik di Starter, 2 menit di Plus, 5 menit di Ultra dan Studio |
| Resolusi | Sekitar 720p, berapa pun ukuran fotonya | 720p atau 1080p di setiap model, 4K di Seedance 2.0, Veo 3.1, dan LTX-2.3 |
| Bingkai | Bentuk foto itu sendiri: foto vertikal memberi klip vertikal | 1:1, 16:9, 9:16, 4:3, atau 21:9, dipilih lebih dulu; frame awal diskalakan untuk memenuhinya dan dipotong di tengah |
| Suara | Suara sunyi tempat itu, tanpa ada yang berbicara | Dialog, efek, dan ambience di model yang menghasilkan suara; tabel di atas menunjukkan yang mana |
| Wajah | Foto orang tidak pernah dikirim ke Seedance, Veo, atau Grok Imagine; jika model pertama menolaknya, model kedua mencoba sekali | Seedance menolak referensi yang menampilkan wajah asli, jadi film semacam itu dirender di model lain |
Pertanyaan
Apa bedanya gambar ke video dan teks ke video?
Teks ke video berawal dari kata-kata saja, jadi model yang menentukan tampilan semuanya. Gambar ke video berawal dari sebuah gambar, jadi subjek, cahaya, dan gayanya berasal dari gambarmu, dan prompt menjelaskan gerakannya.
Berapa lama durasi klip gambar ke video?
Sebagian besar model membuat satu shot sekitar 4 hingga 15 detik dari sebuah gambar. Video yang lebih panjang dibangun dari beberapa shot, dan begitulah panel pembuatan DreamBench membuat film.
Bisakah aku mengatur frame terakhir juga?
Ya, pada model yang mendukung frame pertama dan terakhir: kamu memberikan dua gambar dan model menghasilkan gerakan di antaranya. Beberapa model hanya menerima frame pertama.
Bisakah AI menganimasikan foto?
Ya. Model gambar ke video mengambil fotomu sebagai frame pertama dan menghasilkan gerakan yang menyusul dari prompt pendek: orang yang berbalik, ombak yang pecah, kamera yang bergerak masuk. Klipnya biasanya 4 hingga 15 detik dan dibuka persis pada gambarmu. Foto tajam dengan satu subjek yang jelas, cahaya merata, dan ruang di sekelilingnya untuk bergerak paling bagus dianimasikan; alat DreamBench mempertahankan bentuk asli fotonya, jadi potong dulu kalau klipnya butuh bentuk lain.
Kenapa wajah di videoku terlihat berbeda dari fotoku?
Wajah berubah karena hanya frame pertama yang merupakan fotomu; setiap frame berikutnya dihasilkan, dan wajah yang berpaling lalu kembali digambar ulang dari ingatan model. Jaga gerakan kamera dan kepala tetap kecil, jaga klip tetap pendek, dan mulai dari foto yang tajam dan tercahayai baik dengan wajah besar di frame.
Bisakah gambar ke video menambahkan suara?
Pada model yang menghasilkan suara, ya: klip dibuka dengan gambarmu dan model menghasilkan efek, ambience, atau dialog bersama gerakannya. Tabel di atas menunjukkan model mana yang selalu, opsional, atau tidak pernah menghasilkan suara.
Bisakah aku memakai lebih dari satu gambar?
Ya, dengan dua cara: frame pertama dan terakhir pada model yang mendukung keduanya, atau beberapa gambar referensi karakter atau produk yang menjaga mereka tetap dikenali di seluruh shot sebuah film di panel pembuatan DreamBench.
Bisakah aku mengubah foto jadi video di ponsel?
Ya. Alat gambar ke video DreamBench bekerja di browser ponsel, tanpa perlu memasang apa pun: pilih fotonya dari galerimu dan klipnya diunduh sebagai MP4.
Bisakah aku menganimasikan foto orang sungguhan?
Dengan sebagian model. Di DreamBench, Seedance menolak gambar referensi yang menampilkan wajah orang sungguhan, jadi video dari foto seperti itu memakai model lain. Animasikan hanya foto yang berhak kamu gunakan.
Apakah gambar ke video berbayar?
Tergantung aplikasinya. Di DreamBench kamu membuat akun gratis dan memilih paket sebelum klip pertama, dan setiap klip memakai kredit dari paket.
Apakah gambar ke video mempertahankan rasio aspek fotoku, atau memotongnya?
Gambar ke video mempertahankan rasio aspek fotomu di alat satu foto DreamBench: foto vertikal memberi klip vertikal dan foto lanskap memberi klip lanskap, pada sekitar 720p. Di panel pembuatan kamu memilih bingkai klip lebih dulu, dan frame awal diskalakan untuk memenuhinya dan dipotong di tengah, jadi potong sendiri fotomu ke bentuk itu, atau perluas dengan pemerluas gambar AI, sebelum kamu mulai.
Ukuran dan format foto apa yang cocok untuk gambar ke video?
Foto untuk gambar ke video di DreamBench bisa berupa JPEG, PNG, WebP, atau format apa pun yang bisa dibuka browsermu, hingga 40 MB; foto diskalakan ke 2048 piksel di sisi panjangnya sebelum diproses, jadi file yang lebih besar tidak menambah apa-apa. Yang lebih penting daripada piksel adalah gambar yang tajam dan tercahayai dengan baik dengan satu subjek jelas yang jauh dari tepi, karena klip dibuka persis dengan gambar itu dan setiap frame berikutnya dikarang darinya.
Berapa lama gambar ke video berlangsung?
Gambar ke video memakan beberapa menit untuk satu klip lima detik di alat DreamBench, dan halaman menampilkan klipnya begitu siap. Jika model pertama menolak fotomu, model kedua mencoba sekali, yang menambah sedikit waktu; jika model itu juga menolak, kredit untuk proses itu dikembalikan. Di panel pembuatan, satu shot memakan waktu dari kurang dari satu menit hingga beberapa menit, tergantung model, durasi, resolusi, dan suara.
Apa yang terjadi pada foto yang kuunggah untuk gambar ke video?
Foto yang kamu unggah untuk gambar ke video tetap berada di browsermu sampai kamu membuat klip. Setelah itu, foto dipakai untuk membuat klip itu dan tidak untuk hal lain, dan dihapus dari penyimpanan alat setelah 7 hari bersama hasilnya; hasil yang kamu simpan di pustakamu tetap ada selama kamu menyimpannya. MP4-nya membawa label di data file-nya yang menyatakan bahwa klip dibuat dengan AI di DreamBench, tanpa ada yang digambar di atas gambarnya.
Terkait
Alat DreamBench
- Gambar ke video AISatu foto menjadi klip lima detik dengan gerakan dan suara alami, dengan setiap wajah diminta tetap sama.
- Animator foto lamaFoto keluarga lama perlahan hidup dalam klip lima detik: kedipan, tarikan napas, senyum tipis.
- Pembuat video produkFoto produk menjadi klip lima detik dengan suara: putaran, push-in, orbit, atau sapuan cahaya.
- Animator logoAnimasi lima detik logomu yang berakhir pada logo itu sendiri, bersih: dua belas gaya, tiga bentuk, HD dengan suara.
Halaman model
- Seedance 2.5Ceritakan kisah pendek dalam satu klip hingga 30 detik, dipotong menjadi shot-shot yang terhubung, dengan suara yang dibuat bersama gambarnya.
- Veo 3.1Bentuk adegan realistis layar lebar atau vertikal dengan dialog dan suara, di Veo 3.1, Fast, atau Lite.
- Kling 3.0Jadikan gerakan sebagai fokus, dari olahraga dan tari hingga kendaraan, dengan dialog lip-sync dalam 5 bahasa.
Ketentuan
- Teks ke videoAI yang mengubah prompt tertulis menjadi klip video, setiap frame dikarang dari kata-katanya.
- Konsistensi temporalSeberapa baik video AI menjaga segala sesuatu tetap sama dari frame ke frame, tanpa kedipan atau pergeseran.
- OutpaintingMemperluas gambar melewati tepinya dengan konten baru yang sesuai dengan adegannya.
Sumber
- Wan: Open and Advanced Large-Scale Video Generative Models, §5.1 Image-to-Video GenerationarXiv, dibaca pada
DreamBench adalah platform independen dan tidak berafiliasi dengan atau didukung oleh perusahaan yang disebutkan di halaman ini.