什么是 AI 口型同步？

每个语音都有对应的嘴型。发 p、b、m 时双唇紧闭；发 f、v 时上齿碰到下唇；发 oo 时双唇收圆。口型同步的原理，就是在听到每个音的那一刻让对应的嘴型出现在画面上，并像真实的嘴那样从一个嘴型过渡到下一个。

实现它有两种方式。能生成声音的视频模型可以根据含有台词的提示词，同时生成脸部和人声：生成之前什么都不存在，所以嘴型和台词是一起创造出来的。或者，口型同步模型可以拿一段已有的视频和一条音轨，只重绘嘴部区域，让它说出新的话。

音素与视素

音素是语音中的一个音；视素是它在脸上呈现的样子。在 Microsoft 的语音文档中，视素是“音素的视觉描述”，而且两者并非一一对应：几个不同的音，例如 s 和 z，在说话人脸上看起来是一样的。Microsoft 的语音服务使用 22 个视素，并指出这套视素因语言而异，这也是为什么在一种语言中看起来正确的口型同步，换一种语言可能就显得对不太上。

虚拟形象和游戏的制作流程直接用视素来驱动 2D 或 3D 的脸：语音引擎会给出每个嘴型及其开始时间。视频模型并不列出视素；它们从人们说话的影像中学习声音与嘴型之间的关联。

音频驱动的口型同步模型

音频驱动的口型同步从一张你已有的脸开始。一个知名的研究案例是 Wav2Lip（2020）：它能把“任意身份的说话人脸视频”与一段目标语音进行口型同步，并从一个强大的口型同步判别器中学习，这个网络负责判断嘴型和声音是否一致。更早的一篇牛津大学论文，Chung 和 Zisserman 的 Out of time（2016），训练了一个网络来衡量视频中嘴部运动与语音之间的同步程度：这正是此类模型从中学习的那种“裁判”。

如今，模型开发者也把这条路线作为一项功能来提供。Kling 的口型同步接受一段带完整脸部的视频，以及一个上传的音频文件或一段由文字生成的人声，如果音频比视频长，会裁剪音频。Alibaba 的 VideoRetalk 接受一段视频和一个音频文件，并要求脸部清晰、正对镜头。在这些工具中，画面的其余部分都会保留，只重绘下半张脸。

音视频联合模型

较新的路线是在同一次生成中制作声音和画面。Google 推出 Veo 3 时称其能以原生方式生成音效、环境声和对白，而 Kling 3.0 的介绍中提到了角色级的口型同步，以及在一个场景中为多个角色分配对白。Ovi（2025）等研究模型公开展示了这一思路：用一个生成过程同时处理两者，由两个相连的网络交换时序和语义，因此声音事后无需对齐。声音方面的深入介绍，请参阅原生音频。

需要哪条路线，取决于你从什么开始。如果什么都还没有，就把脸部和人声一起生成；如果已经有影像或人声且必须保留，你就需要一个音频驱动的工具。

这些名称在搜索结果和工具中相互重叠，但它们描述的是不同的任务。口型同步是它们的共同点：嘴型与语音相匹配。

这个 30 秒的镜头是在 DreamBench 上根据下方的简报，用 Seedance 2.5 开启声音生成的。厨师的台词用日语写在简报里，放在引号中，并写明谁说、怎么说：“用日语轻声说”。没有任何录音；人声、台词和嘴型都是一起生成的。

注意台词的位置：在一次停顿之后，厨师静止不动、面向光线时说出。一句台词落在一张没有同时做快速动作的脸上，效果更理想。

要让 AI 角色说话，就把台词写进提示词，放在引号里，并说明是谁说的。能生成声音的模型会把引号里的台词当作语音来读；没有引号的台词则常被当作描述。一个实用的顺序是：

• 保持简短：每秒片段大约两个词是比较舒服的语速，所以一个 8 秒的镜头能容纳一两句话。
• 一次一个说话人，每句台词都分配给一个具名的人；并说明其他人安静地听着。
• 让说话人面朝镜头或呈四分之三侧脸，脸上要有光。
• 说台词时，让手、食物、杯子和麦克风远离嘴部。
• 如果需要口音，就用文字要求，例如“轻柔的苏格兰口音”。

AI 视频提示词生成器为所有模型提供台词选项，而 Kling 3.0 提示词生成器可以写出用于英语、中文、日语、韩语或西班牙语口型同步的台词。两者都只负责写提示词；片段仍由视频模型生成。

• 对着镜头说话的广告和社交媒体片段，由一位主持人说一句介绍产品的话。
• 短剧和小品，两个角色你来我往地对话。
• 会说话的动画和风格化角色，从吉祥物到卡通动物。
• 同一场景的多语言版本，每个版本都用各自的台词生成。

• 快语速：当声音出现的速度超过画面帧能呈现的速度时，嘴部会糊成一团或跳过某些嘴型。放慢台词或删减字词。
• 侧脸：两条路线都在正脸或四分之三侧脸上效果更好；VideoRetalk 更是直接要求正对镜头的脸。在侧脸中，一半嘴部被遮住，错误就会显现出来。
• 胡须、小胡子和靠近嘴部的手会遮住唇线，所以模型能参照的更少，需要编造的更多。
• 牙齿和舌头：它们会变得模糊、粘连，或在帧与帧之间变化，在特写中发开口元音时尤其明显。
• 多个说话人：声音可能从错误的脸上发出，或者听者的嘴唇也在动。为每个说话人命名，并把每句台词只分配给一个人。
• 语言：模型在它学习得最多的语言上口型同步效果更理想。有些开发者会列出支持的语言，而其他语言的台词可能不够清晰，或者变成另一种语言。

为什么我的 AI 视频里声音和嘴型对不上？通常是台词对这个片段来说太长或太快、说话人背对着镜头，或者提示词没有说明是谁在说话：解决这些问题后重新生成。Google 自己也把短台词中的语音和音频同步列为 Veo 仍在改进的方面。

音频驱动的工具可以把任何话放进任何拍摄到的脸上。许多深度伪造背后用的正是这种技术，这也是为什么同意必须放在第一位：只有在获得本人知情许可的情况下，才能让真实的人看起来说了某些话，而且绝不能用来欺骗、为他并不认可的产品代言，或把话强加到公众人物嘴里。

DreamBench 的使用条款要求在用 AI 处理或呈现真实人物的肖像或声音之前获得其知情许可，并禁止未经授权呈现真实人物、欺骗性冒充和虚假代言。DreamBench 上的 Seedance 会直接拒绝含有真人面孔的参考图。

如果一个片段展示了真实的人说出他没说过的话，无论在哪里发布，都要标注为 AI 生成。

在 DreamBench 上，口型同步是与视频一起生成的。你描述影片，当简报中有人说话时，DreamBench 会把每句台词放在引号里写进所在场景的提示词，写明谁说，让其他人保持闭嘴，并在每个片段中用同样的方式描述每个说话人的嗓音。然后，能生成声音的模型会在同一过程中生成脸部和人声。每个片段都是单独生成的，所以嗓音在场景之间仍可能略有差异；请参阅角色一致性。

有些模型专为此而设计：HappyHorse 1.1 在菜单中用于对着镜头说话的人物，Kling 3.0 可以在一个场景中为多个角色分配台词，Wan 3.0 能打造带对白的场景。不过，声音并不总是语音：在 DreamBench 上，Wan 2.7 添加的是音乐或音效，Vidu Q2 只添加背景音乐。

DreamBench 做不到的：没有上传音频文件的入口，所以它无法让片段与你自己的录音进行口型同步，也不能把已有视频配音成另一种语言。Morph 编辑的是你上传的视频中的内容，并保留其原声，除非你把声音关闭；它不接受新的人声音轨。如果某句台词生成得不对，只重做那个场景即可。模型列表中每个模型的页面都说明了它的声音包括哪些内容。