Apa itu lip sync AI?

Setiap bunyi ucapan punya bentuk mulut. Bibir merapat untuk p, b, dan m; gigi atas menyentuh bibir bawah untuk f dan v; bibir membulat untuk u. Lip sync bekerja dengan memunculkan bentuk-bentuk itu di layar tepat saat setiap bunyi terdengar, dan memadukan satu bentuk ke bentuk berikutnya seperti mulut sungguhan.

Ada dua cara untuk mencapainya. Model video dengan suara bisa membuat wajah dan suara sekaligus, dari prompt yang memuat kalimatnya: tidak ada apa pun sebelum generasi, jadi mulut dan kata-katanya diciptakan bersamaan. Atau model lip sync bisa mengambil video yang sudah ada dan trek audio, lalu hanya menggambar ulang area mulut agar mengucapkan kata-kata baru.

Fonem dan visem

Fonem adalah bunyi ucapan; visem adalah tampilannya di wajah. Dalam dokumentasi layanan ucapan Microsoft, visem adalah “deskripsi visual dari sebuah fonem”, dan tidak ada pasangan satu lawan satu: beberapa bunyi, seperti s dan z, terlihat sama di wajah pembicara. Microsoft memakai 22 visem untuk layanan ucapannya dan mencatat bahwa set-nya berbeda menurut bahasa, yang menjadi salah satu alasan lip sync yang terlihat tepat dalam satu bahasa bisa terlihat longgar di bahasa lain.

Pipeline avatar dan game menggerakkan wajah 2D atau 3D langsung dari visem: mesin suara menyebutkan setiap bentuk mulut dan kapan bentuk itu dimulai. Model video tidak mencantumkan visem; model mempelajari hubungan antara bunyi dan mulut dari rekaman orang yang berbicara.

Model lip sync berbasis audio

Lip sync berbasis audio dimulai dari wajah yang sudah kamu punya. Contoh riset yang terkenal adalah Wav2Lip (2020): model ini melakukan lip sync pada “video wajah berbicara dari identitas apa pun” ke klip ucapan target, dan belajar dari diskriminator lip sync yang kuat, yaitu jaringan yang menilai apakah mulut dan bunyi selaras. Makalah Oxford sebelumnya, Out of time karya Chung dan Zisserman (2016), melatih jaringan untuk mengukur sinkronisasi antara gerak mulut dan ucapan dalam video: jenis penilai yang dipakai model-model semacam itu untuk belajar.

Pembuat model kini menjual jalur yang sama sebagai fitur. Lip Sync dari Kling menerima video dengan wajah utuh dan file audio yang diunggah atau suara yang dibuat dari teks, dan memotong audionya jika lebih panjang dari videonya. VideoRetalk dari Alibaba menerima video dan file audio, dan meminta wajah yang jelas dan menghadap depan. Di masing-masing, bagian frame lainnya dipertahankan dan wajah bagian bawah digambar ulang.

Model audio-video gabungan

Jalur yang lebih baru membuat suara dan gambar dalam generasi yang sama. Google memperkenalkan Veo 3 sebagai model yang menghasilkan efek suara, ambience, dan dialog secara native, dan Kling 3.0 digambarkan punya lip sync tingkat karakter dan dialog yang diberikan ke beberapa karakter dalam satu adegan. Model riset seperti Ovi (2025) menunjukkan idenya secara terbuka: satu proses generatif untuk keduanya, dengan dua jaringan terhubung yang bertukar timing dan makna sehingga suaranya tidak perlu diselaraskan belakangan. Lihat audio native untuk pembahasan mendalam tentang sisi suaranya.

Jalur mana yang kamu butuhkan tergantung pada apa yang kamu punya di awal. Jika belum ada apa pun, hasilkan wajah dan suaranya bersamaan; jika rekaman atau suara sudah ada dan harus tetap, kamu butuh alat berbasis audio.

Nama-nama ini tumpang tindih di hasil pencarian dan di berbagai alat, tetapi menggambarkan pekerjaan yang berbeda. Lip sync adalah bagian yang sama-sama mereka miliki: mulut yang cocok dengan ucapan.

Take 30 detik ini dibuat di DreamBench dari brief di bawahnya, di Seedance 2.5 dengan suara. Kalimat sang koki ditulis di brief dalam bahasa Jepang, dalam tanda kutip, beserta siapa yang mengucapkannya dan bagaimana: “says quietly in Japanese” (berkata pelan dalam bahasa Jepang). Tidak ada yang direkam; suara, kata-kata, dan mulutnya dihasilkan bersamaan.

Perhatikan bagaimana kalimatnya ditempatkan: setelah jeda, saat sang koki diam dan menghadap cahaya. Kalimat yang diucapkan paling pas di wajah yang tidak sedang melakukan hal lain dengan cepat.

Untuk membuat karakter AI berbicara, tulis kalimatnya di prompt, dalam tanda kutip, dan sebutkan siapa yang mengucapkannya. Model dengan suara membaca kalimat dalam tanda kutip sebagai ucapan; kalimat tanpa tanda kutip sering diperlakukan sebagai deskripsi. Urutan yang berguna:

• Buat singkat: sekitar dua kata per detik klip adalah tempo yang nyaman, jadi shot 8 detik memuat satu atau dua kalimat.
• Satu pembicara dalam satu waktu, setiap kalimat diberikan ke orang yang disebut namanya; sebutkan bahwa yang lain mendengarkan dalam diam.
• Posisikan pembicara menghadap kamera atau tiga perempat, dengan cahaya di wajahnya.
• Jauhkan tangan, makanan, cangkir, dan mikrofon dari mulut saat kalimat diucapkan.
• Jika kamu butuh aksen, mintalah dengan kata-kata, seperti “aksen Skotlandia yang lembut”.

Generator prompt video AI punya opsi kalimat yang diucapkan untuk model apa pun, dan generator prompt Kling 3.0 menulis kalimat untuk di-lip sync dalam bahasa Inggris, Mandarin, Jepang, Korea, atau Spanyol. Keduanya hanya menulis prompt; klipnya tetap dibuat oleh model video.

• Iklan dan klip media sosial yang berbicara ke kamera, tempat presenter mengucapkan satu kalimat tentang produk.
• Drama pendek dan sketsa, dengan dua karakter yang saling berbalas kalimat.
• Karakter animasi dan bergaya yang berbicara, dari maskot hingga hewan kartun.
• Adegan yang sama dalam beberapa bahasa, setiap versi dihasilkan dengan kalimatnya sendiri.

• Ucapan cepat: saat bunyi datang lebih cepat daripada yang bisa ditampilkan frame, mulut melebur menjadi buram atau melewatkan bentuk. Perlambat kalimatnya atau kurangi kata-katanya.
• Tampak samping: kedua jalur bekerja paling baik pada wajah yang dilihat dari depan atau tiga perempat; VideoRetalk terang-terangan meminta wajah yang menghadap depan. Dari samping, separuh mulut tersembunyi dan kesalahannya terlihat.
• Janggut, kumis, dan tangan di dekat mulut menutupi garis bibir, jadi model punya lebih sedikit yang bisa diikuti dan lebih banyak yang harus dikarang.
• Gigi dan lidah: keluar buram, menyatu, atau berubah dari frame ke frame, terutama pada vokal terbuka dalam close-up.
• Beberapa pembicara: suara bisa keluar dari wajah yang salah, atau bibir pendengar ikut bergerak. Sebutkan nama setiap pembicara dan berikan setiap kalimat ke satu orang.
• Bahasa: model melakukan lip sync paling baik dalam bahasa yang paling banyak dipelajarinya. Beberapa pembuat model mencantumkan bahasanya, dan kalimat dalam bahasa lain bisa keluar kurang jelas atau dalam bahasa yang berbeda.

Mengapa suara di video AI-ku tidak cocok dengan mulutnya? Biasanya kalimatnya terlalu panjang atau terlalu cepat untuk klip itu, pembicaranya berpaling, atau prompt-nya tidak menyebutkan siapa yang berbicara: perbaiki itu lalu hasilkan ulang. Google sendiri menyebut ucapan dalam kalimat pendek dan sinkronisasi audio sebagai pekerjaan yang masih berlangsung untuk Veo.

Alat berbasis audio bisa menaruh kata-kata apa pun ke wajah mana pun yang direkam. Itu teknik yang sama di balik banyak deepfake, dan itulah sebabnya persetujuan didahulukan: buat orang sungguhan tampak mengatakan sesuatu hanya dengan izin mereka yang diberikan secara sadar, dan jangan pernah untuk menipu, untuk mendukung produk yang tidak mereka dukung, atau untuk menaruh kata-kata di mulut tokoh publik.

Ketentuan Penggunaan DreamBench meminta izin yang diberikan secara sadar sebelum rupa atau suara orang sungguhan diproses atau digambarkan dengan AI, dan melarang penggambaran orang sungguhan tanpa izin, peniruan identitas yang menipu, dan dukungan palsu. Seedance di DreamBench langsung menolak gambar referensi wajah manusia sungguhan.

Jika sebuah klip menampilkan orang sungguhan mengatakan sesuatu yang tidak pernah mereka katakan, beri label buatan AI di mana pun kamu memublikasikannya.

Di DreamBench, lip sync dihasilkan bersama videonya. Kamu mendeskripsikan filmnya, dan saat brief berisi orang yang berbicara, DreamBench menulis setiap kalimat ke prompt adegannya dalam tanda kutip, menyebutkan siapa yang mengucapkannya, menjaga bibir orang lain tetap tertutup, dan mendeskripsikan suara setiap pembicara dengan cara yang sama di setiap klip. Model dengan suara lalu membuat wajah dan suaranya dalam satu proses. Setiap klip dihasilkan sendiri-sendiri, jadi suara masih bisa sedikit berbeda dari adegan ke adegan; lihat konsistensi karakter.

Beberapa model memang dibuat untuk itu: HappyHorse 1.1 ada di menu untuk orang yang berbicara ke kamera, Kling 3.0 memberikan kalimat ke beberapa karakter dalam satu adegan, dan Wan 3.0 membangun adegan dengan dialog. Namun, suara tidak selalu berarti ucapan: di DreamBench, Wan 2.7 menambahkan musik atau efek, dan Vidu Q2 hanya menambahkan musik latar.

Yang tidak dilakukan DreamBench: tidak ada unggahan untuk file audio, jadi DreamBench tidak bisa melakukan lip sync klip ke rekamanmu sendiri, dan tidak melakukan dubbing video yang sudah ada ke bahasa lain. Morph mengedit isi video yang kamu unggah dan mempertahankan suara aslinya, kecuali kamu mematikannya; Morph tidak menerima trek suara baru. Jika sebuah kalimat keluar salah, ulangi adegan itu saja. Halaman setiap model di daftar model menyebutkan apa saja yang termasuk dalam suaranya.