Apa itu audio native dalam video AI?

Model dengan audio native dilatih dengan klip beserta soundtrack-nya, jadi ia belajar bahwa pintu tertutup dengan bunyi keras, jalan yang ramai berdengung, dan bibir bergerak mengikuti kata-kata yang diucapkan. Saat menghasilkan, ia membuat frame dan suara bersamaan, keduanya diarahkan oleh prompt yang sama dan diletakkan di timeline yang sama, sehingga setiap suara dimulai di frame yang menyebabkannya.

Cara lama, yang masih umum, membuat klip tanpa suara lebih dulu lalu memberinya suara belakangan: suara dari model teks ke suara, efek dari model suara yang menonton klipnya, musik yang dipilih di editor. Setiap langkah terpisah, jadi masing-masing harus diselaraskan dengan gambar secara manual atau oleh model lain. Google menggambarkan Veo 3.1 sebagai model yang menghasilkan seluruh audionya secara native, dan ByteDance menyebut Seedance 2.5 model generasi audio-video gabungan.

Di balik layar: dua aliran yang saling mendengarkan

Model gabungan yang telah dipublikasikan menjalankan dua generator berdampingan, satu untuk gambar dan satu untuk suara, dan membiarkan keduanya bertukar informasi di setiap langkah. MM-Diffusion (2022) adalah desain awal: dua subnetwork yang mengubah noise menjadi klip dan soundtrack yang cocok secara bersamaan. Ovi (2025) menggabungkan dua menara transformer blok demi blok, berbagi timing dan makna di antara keduanya, yang menurut para penulisnya menghasilkan sinkronisasi tanpa langkah penyelarasan terpisah.

Makalah LTX-2 (2026), dari Lightricks, pembuat LTX-2.3, menjabarkan ide yang sama dalam skala besar: aliran video 14 miliar parameter dan aliran audio 5 miliar parameter, digabungkan oleh atensi dua arah, dengan ucapan, suara latar, dan foley, serta bobot yang dipublikasikan. Jalur lainnya, suara yang dibuat setelah gambar, juga masih diteliti: MMAudio mengambil video yang sudah jadi, dengan teks opsional, dan menghasilkan suara yang selaras dengannya frame demi frame.

Soundtrack sebuah klip dibangun dari lapisan-lapisan, dan prompt bekerja paling baik jika menyebutkan setiap lapisan yang diinginkan. Panduan Google untuk Veo 3.1 adalah menyatakan dengan jelas apakah kamu menginginkan audio, dan mendeskripsikannya dalam kalimat tersendiri; panduan prompt-nya memberi label “SFX:” untuk efek dan “Ambient noise:” untuk latar.

Ambience dan efek adalah hal yang paling andal dilakukan model video: suara sebuah tempat berdurasi panjang dan lebih toleran, dan efek hanya perlu jatuh di satu frame. Ucapan adalah lapisan tersulit, karena setiap suku kata harus cocok dengan mulut.

Audio native adalah salah satu dari beberapa cara memberi suara pada video:

Perbedaannya dengan lip sync ada pada urutannya. Lip sync dimulai dari suara dan mengubah gambar agar cocok dengannya; audio native membuat suara dan gerak mulut pada saat yang sama, dari kata-kata di prompt, jadi tidak ada yang dicocokkan dengan yang lain.

Dialog ditulis di prompt, bukan direkam. Take 30 detik ini dibuat di DreamBench dengan Seedance 2.5 dengan suara aktif; brief-nya dalam bahasa Inggris dan satu kalimat sang koki dalam bahasa Jepang, dikutip dalam aksara Jepang dengan artinya di sampingnya.

• Taruh kalimatnya dalam tanda kutip, tepat setelah orang yang mengucapkannya, agar suaranya milik seseorang di layar.
• Sebutkan cara mengucapkannya: pelan, terengah-engah, sambil tertawa. Cara penyampaian adalah bagian dari kalimat itu.
• Sebutkan bahasanya jika bukan bahasa brief, dan tulis kata-katanya dalam bahasa itu.
• Buat singkat: satu atau dua kalimat pendek muat di klip 8 detik; pidato tidak.
• Satu pembicara dalam satu waktu. Dua orang yang berbicara bersamaan adalah saat suara tertukar dan mulut jadi kacau.

Referensi model Google mencantumkan bahasa Inggris sebagai bahasa prompt untuk Veo 3.1. Kalimat dalam bahasa lain sebaiknya diuji di model itu sebelum kamu mengandalkannya.

Suara tanpa kata tetap perlu diarahkan. Klip di Veo 3.1 ini meminta satu suara yang berubah sekali, tepat pada waktunya: brief-nya diakhiri “Muffled underwater ambience, then one clear breath” (ambience bawah air yang teredam, lalu satu tarikan napas yang jelas), dan napas itu terdengar saat penyu menembus permukaan air.

• Kaitkan setiap efek dengan aksi dalam kalimat yang sama: “pintu terbanting saat ia pergi” lebih tepat sasaran daripada daftar suara di akhir.
• Deskripsikan ambience sebagai bahan dari tempat itu sendiri: angin di atas atap, gumaman kafe, lalu lintas dua jalan dari situ.
• Sebutkan bagaimana suaranya berakhir: berhenti di potongan, berlanjut, atau memudar.

• Lip sync yang bergeser: mulut dan kata-kata mulai bersamaan, lalu perlahan tidak selaras di kalimat yang panjang, atau mulut bergerak saat tidak ada yang berbicara.
• Ucapan yang kacau: kata-kata keluar tidak jelas, mengada-ada, atau dalam urutan yang salah, lebih sering di kalimat yang panjang atau cepat. Google mengatakan masih berupaya menghilangkan ucapan yang tidak koheren dari Veo, dan panduannya menyebut fitur audio itu eksperimental dan terus ditingkatkan.
• Pembicara yang salah: dengan dua atau tiga orang di frame, sebuah kalimat bisa keluar dari mulut yang salah, atau muncul suara tambahan.
• Suara yang berubah antarklip: setiap klip dibuat terpisah, jadi karakter yang dideskripsikan berbeda di dua prompt bisa terdengar seperti dua orang; lihat konsistensi karakter.
• Musik yang berhenti di setiap potongan: musik iringan yang dibuat di dalam satu klip berakhir saat klip berakhir, dan klip berikutnya memulai musik yang berbeda.
• Musik yang tidak bisa kamu jamin: tidak ada apa pun di klip hasil generasi yang memberitahumu apakah melodinya mirip rekaman yang sudah ada. Untuk apa pun yang kamu publikasikan secara komersial, pakai trek yang lisensinya kamu ketahui.
• Volume yang melonjak: setiap klip keluar dengan level yang dipilih model, jadi potongan di antara dua klip bisa tiba-tiba lebih keras atau lebih pelan. Samakan level suaranya di editor sebelum kamu memublikasikannya.

Suara dan persetujuan

Suara hasil generasi bisa terdengar seperti suara orang sungguhan. Jangan menulis prompt untuk meniru suara orang tertentu yang disebut namanya, dan jangan menaruh kata-kata di mulut orang sungguhan tanpa persetujuan mereka; untuk suara yang benar-benar kamu butuhkan, rekam dengan izin.

Sebagian besar model video saat ini menghasilkan suara. Di DreamBench, sebagian selalu menghasilkannya dan sebagian punya sakelar, dan tabel di bawah dibaca dari pengaturan panel pembuatan itu sendiri:

Suara selalu aktif di Veo 3.1, Kling 4.0, Wan 3.0, Grok Imagine 1.5, MiniMax H3, dan HappyHorse 1.1: pembuatnya tidak menyediakan cara untuk mematikannya. Seedance 2.5, Seedance 2.0, Kling 3.0, Wan 2.7, dan LTX-2.3 punya sakelar. Satu-satunya suara Vidu Q2 adalah musik latar, yang tidak dipakai di film DreamBench.

Mematikan suara hanya menurunkan harga di Kling 3.0, yang penyedianya menagih klip tanpa suara lebih murah; di semua model lain, termasuk Seedance 2.0 meski ByteDance menggambarkannya sebagai model audio-video gabungan, sakelar itu mengubah apa yang kamu dengar, bukan kreditnya. Halaman setiap model di daftar model mencantumkan durasi dan pengaturannya.

Di DreamBench kamu mendeskripsikan filmnya, dan DreamBench menulis prompt setiap klip, termasuk suaranya. Setiap klip bersuara mendapat baris suaranya sendiri: ambience tempatnya, suara setiap pembicara, berapa banyak kalimat yang diucapkan, oleh siapa, dan dalam bahasa apa jika brief-mu menyebutkannya, serta bagaimana suaranya berakhir di potongan.

• Suara sebuah karakter ditentukan sekali dan ditulis kata demi kata di setiap klip tempat ia berbicara, karena suara yang dideskripsikan dengan kata-kata baru setiap kali akan keluar sebagai suara baru.
• Setiap klip dalam film membawa bunyi dan suara pembicaranya sendiri, tidak pernah musik: setiap klip dirender sendiri-sendiri, jadi musik iringan yang dibuat di dalamnya akan berhenti mendadak di potongannya.
• Sakelar Audio ada di samping model di panel pembuatan. Di model yang suaranya selalu aktif, sakelar itu menunjukkan aktif dan tidak bisa dimatikan.

Untuk menulis sendiri satu prompt dengan suara, generator prompt video AI punya bagian suara, dari ambience saja hingga satu kalimat yang diucapkan dalam tanda kutip, dan generator prompt Veo 3.1 menulis untuk model yang suaranya selalu aktif. Baca selengkapnya tentang pembuatan video AI, teks ke video, dan video multi-shot.