Apa itu teks ke video?

Teks ke video bekerja dengan melatih model pada klip dalam jumlah sangat besar yang dipasangkan dengan deskripsi, sehingga ia belajar kata mana yang cocok dengan pemandangan dan gerakan mana. Untuk menghasilkan, ia mengodekan prompt-mu, memulai dari noise acak seukuran satu klip utuh, dan menghilangkan noise itu langkah demi langkah hingga tersisa frame yang sesuai dengan kata-katanya.

Karena hanya kata-kata yang membatasinya, model teks ke video punya kebebasan paling besar dibanding mode lain, dan itu kekuatan sekaligus kelemahannya: dua kali menjalankan prompt yang sama menghasilkan dua klip yang berbeda. Lihat pembuatan video AI untuk pembahasan pipeline secara mendalam.

Beberapa alat yang dijual sebagai teks ke video tidak menghasilkan footage. Mereka mengambil naskah, memilih klip stok yang cocok, dan menambahkan suara AI serta caption. Text to speech lebih sempit lagi: mengubah naskah menjadi suara, tanpa gambar sama sekali. Model teks ke video bekerja berbeda: ia menghasilkan setiap frame, jadi tidak ada yang kamu lihat yang pernah difilmkan.

Jika kamu sudah punya gambar seperti apa klipnya nanti, mulailah dari gambar itu: gambar ke video menjadikan gambarmu frame pertama dan menghasilkan gerakannya.

Generator prompt lain lagi: ia menulis prompt dan tidak menghasilkan video. Generator prompt video AI mengubah beberapa pilihan menjadi deskripsi shot dalam urutan yang dibaca model, dengan preset untuk Veo 3.1, Seedance 2.5, dan Kling 3.0; klipnya tetap dibuat oleh model video.

Model video membaca prompt seperti deskripsi shot. Makin jelas setiap bagiannya, makin sedikit model menebak. Urutan yang berguna:

• Satu shot per prompt: model membuat satu shot berkelanjutan, jadi deskripsikan satu posisi kamera dan satu aksi.
• Deskripsikan apa yang ingin kamu lihat, bukan yang tidak: “jalan yang kosong” lebih berhasil daripada “tanpa orang”.
• Sebutkan gerakan kameranya, atau model yang akan memilihnya.
• Buat teks di layar tetap singkat, atau hilangkan dan tambahkan belakangan.

Klip ini dibuat di DreamBench dari brief di bawahnya, di Veo 3.1 dalam 1080p dengan suara. Ini brief yang bagus karena setiap kalimat memberi model sesuatu untuk ditampilkan, dan tidak ada yang tidak bisa ditampilkannya.

Kata-kata dalam tanda kutip adalah brief seperti yang ditulis, dalam bahasa Inggris: prompt berfungsi dalam bahasa apa pun yang dipahami model.

Sebagian besar prompt yang lemah itu terlalu pendek, bukan salah. Setiap langkah di bawah menambahkan satu jenis informasi, dan setiap langkah menghilangkan satu pilihan yang kalau tidak akan dibuat model secara acak.

Brief bisa meminta satu shot tanpa putus, gerakan kamera yang pelan, dan satu kalimat yang diucapkan, bahkan dalam bahasa lain. Take 30 detik di Seedance 2.5 ini ditulis sebagai satu shot tanpa putus dari sendok sayur hingga senyuman, dengan kalimat koki dalam bahasa Jepang.

• Karya suasana dan film konsep, untuk mencoba ide sebelum mengeluarkan biaya untuk pemotretan.
• B-roll: lanskap kota, alam, tekstur, dan kerumunan untuk diselipkan di antara shot lain.
• Klip media sosial yang dibangun di sekitar satu gambar atau momen yang mencolok.
• Storyboard yang bergerak, sehingga sutradara dan klien bisa melihat adegan yang sama.
• Latar dan loop untuk presentasi, musik, dan acara langsung.

Setiap model video di DreamBench membuat video dari teks. Perbedaannya ada pada suara, pada apakah model itu juga bisa menerima frame terakhir, dan pada ketajaman hasil rendernya:

Tidak ada model yang paling cocok untuk setiap brief. Halaman setiap model di daftar model mencantumkan pilihan durasi, resolusi, dan suaranya; uji satu brief di dua model dan bandingkan.

• Model tidak bisa mengenali orang, produk, atau logo tertentu dari kata-kata saja; pakai gambar referensi untuk itu, seperti yang dilakukan referensi ke video, dan pertahankan di setiap shot untuk karakter yang konsisten.
• Papan nama dan teks sering salah eja.
• Aksi kompleks dengan beberapa langkah dipersingkat, digabung, atau diubah urutannya.
• Kerumunan, tangan, dan benda yang bersentuhan adalah tempat kesalahan pertama kali terlihat.
• Klip berkedip atau bergeser saat model kehilangan jejak suatu detail: kegagalan konsistensi temporal.

Kenapa klipku berhenti sebelum aksinya selesai? Panjang klip sudah ditetapkan sebelum model membaca prompt, jadi aksinya dipaskan ke dalamnya: aksi yang butuh waktu lebih lama dipersingkat, kehilangan langkah, atau berakhir di tengah gerakan. Tulis satu aksi yang muat dalam detik yang kamu pesan, atau pesan klip yang lebih panjang; tabel penulisan ulang di atas mempertahankan satu aksi per shot karena alasan ini.

Di DreamBench, kamu tidak menulis setiap prompt sendiri. Kamu mendeskripsikan filmnya, lalu DreamBench menulis daftar shot dan prompt lengkap untuk setiap klip, dengan kamera, cahaya, aksi, dan suara, kemudian merendernya di model yang kamu pilih, seperti Seedance 2.5, Veo 3.1, atau Kling 3.0. Tambahkan gambar karakter atau produk, dan gambar itu dipakai sebagai referensi di setiap shot.