AI 视频中的原生音频是什么？

具备原生音频的模型是用带原声的片段训练出来的，所以它学会了门关上会“砰”的一声、拥挤的街道一片嘈杂、嘴唇会随着说出的话而动。生成时，它会同时生成画面帧和声音，两者由同一条提示词控制，放在同一条时间轴上，所以每个声音都从引发它的那一帧开始。

较早的做法如今仍很常见：先生成一个无声片段，再给它配上声音：用文本转语音模型生成人声，用观看片段的音效模型生成音效，在剪辑软件里挑选音乐。每一步都是分开的，所以每一步都必须手动或借助另一个模型与画面对齐。Google 介绍 Veo 3.1 时说它以原生方式生成全部音频，ByteDance 则把 Seedance 2.5 称为音视频联合生成模型。

技术原理：两条相互“倾听”的数据流

已发表的联合模型会并行运行两个生成器，一个负责画面，一个负责声音，并让它们在每一步交换信息。MM-Diffusion（2022）是一个早期设计：两个子网络一起把噪声变成相互匹配的片段和音轨。Ovi（2025）把两座 Transformer 塔逐块连接起来，在两者之间共享时序和语义，其作者表示，这样无需单独的对齐步骤就能实现同步。

Lightricks（LTX-2.3 的开发者）发表的 LTX-2 论文（2026）在大规模上阐述了同样的思路：一条 14B 参数的视频流和一条 5B 参数的音频流，通过双向注意力连接，可生成语音、背景声和拟音，并公开了权重。另一条路线，即在画面之后生成声音，也仍在研究中：MMAudio 以一段完成的视频（可附带文字）为输入，逐帧生成与之对齐的声音。

片段的音轨由多个层次构成，提示词点明它想要的每一层时效果更理想。Google 对 Veo 3.1 的建议是明确说明你是否需要音频，并用单独的句子来描述它；它的提示词指南用“SFX:”标注音效，用“Ambient noise:”标注背景声。

环境声和音效是视频模型最可靠的部分：一个地点的声音持续时间长、容错度高，而一个音效只需落在一帧上。语音是最难的一层，因为每个音节都必须和嘴型对上。

原生音频是给视频配声音的几种方式之一：

它与口型同步的区别在于顺序。口型同步从一段人声出发，修改画面去匹配它；原生音频则根据提示词中的文字，同时生成人声和运动的嘴部，两者都不必去适配对方。

对白是写进提示词里的，而不是录制的。这个 30 秒的镜头是在 DreamBench 上用 Seedance 2.5 开启声音生成的；简报用英文写成，厨师的那句台词是日语，用日文书写并放在引号里，旁边附上了意思。

• 把台词放在引号里，紧跟在说话人之后，让声音属于画面中的某个人。
• 写明说话的方式：轻声、气喘吁吁、笑着说。说话的语气也是台词的一部分。
• 如果台词的语言与简报不同，要点明语言，并用那种语言写出台词。
• 保持简短：一两句短句适合 8 秒的片段；一段长篇讲话则不行。
• 一次只让一个人说话。两个人抢着说话时，最容易出现声音错位、嘴型出错。

Google 的模型参考文档列出英语为 Veo 3.1 的提示词语言。其他语言的台词，建议先在模型上测试，再决定是否依赖它。

没有台词的声音也需要引导。这个 Veo 3.1 片段只要求一个声音，并在提示点上变化一次：简报的结尾是“水下沉闷的环境声，然后是一声清晰的呼吸”，呼吸声正好在海龟探出水面时响起。

• 在同一句话里把每个音效和一个动作绑定：“她离开时，门砰地关上”比在结尾列一串声音效果更好。
• 用地点本身的元素来描述环境声：屋顶上的风、咖啡馆的低语、隔了两条街的车流声。
• 写明声音如何结束：在剪切处停止、持续下去，还是渐渐淡出。

• 口型漂移：嘴型和台词一起开始，但在长句中逐渐错开，或者没人说话时嘴巴也在动。
• 语音含混：词语说得含糊不清、被编造或顺序错乱，长句或快语速时更常见。Google 表示仍在努力消除 Veo 中语音不连贯的情况，它的指南也称这些音频功能仍处于实验阶段，并在持续改进。
• 说话人错位：画面中有两三个人时，一句台词可能从错误的嘴里说出来，或者冒出一个多余的声音。
• 片段之间声音变化：每个片段都是单独生成的，所以在两条提示词中描述不同的同一个角色，听起来可能像两个人；请参阅角色一致性。
• 音乐在每次剪切时中断：在一个片段内生成的配乐，会在片段结束处结束，下一个片段又开始一段不同的音乐。
• 无法确认来源的音乐：生成的片段里没有任何信息能告诉你，它的旋律是否与某段已有的录音相似。凡是要用于商业发布的内容，请使用你清楚其授权条款的音轨。
• 音量忽高忽低：每个片段的音量都由模型决定，所以两个片段之间的剪切可能突然变响或变轻。发布前，请在剪辑软件中统一音量。

声音与同意

生成的声音可能听起来像某个真实的人。不要在提示词中要求某个具名人物的嗓音，也不要未经真实人物同意就让他“说”出某些话；如果你需要某个确切的嗓音，请在获得许可后录制。

目前大多数视频模型都能生成声音。在 DreamBench 上，有的模型始终带声音，有的有开关，下表直接读取自创作面板自身的设置：

Veo 3.1、Kling 4.0、Wan 3.0、Grok Imagine 1.5、MiniMax H3 和 HappyHorse 1.1 的声音始终开启：它们的开发者没有提供关闭的方式。Seedance 2.5、Seedance 2.0、Kling 3.0、Wan 2.7 和 LTX-2.3 有开关。Vidu Q2 唯一的声音是背景音乐，DreamBench 的影片不会使用它。

只有在 Kling 3.0 上关闭声音才会降低价格，因为它的提供商对无声片段收费更低；在其他所有模型上，包括 ByteDance 描述为音视频联合模型的 Seedance 2.0，这个开关改变的是你听到的内容，而不是积分。模型列表中每个模型的页面都列出了它的时长和设置。

在 DreamBench 上，你描述影片，DreamBench 就会写出每个片段的提示词，包括声音。每个带声音的片段都有一行专门的声音描述：所处地点的环境声、每个说话人的嗓音、说几句台词、由谁说，以及当你的简报指定了语言时用哪种语言说，还有声音在剪辑点处如何结束。

• 角色的嗓音只确定一次，并一字不差地写进该角色说话的每个片段，因为每次用新的文字描述嗓音，生成出来的就是一个新的嗓音。
• 影片中的片段只带有自身的声音和人声，从不带音乐：每个片段都是单独渲染的，所以在其中一个片段内生成的配乐会在剪辑点处戛然而止。
• “声音”开关位于创作面板中的模型旁边。在声音始终开启的模型上，它显示为开启，且无法关闭。

如果想自己写一条带声音的提示词，AI 视频提示词生成器有专门的声音部分，从只有环境声到一句放在引号里的台词都可以，而 Veo 3.1 提示词生成器则专为声音始终开启的模型而写。延伸阅读：AI 视频生成、文生视频和多镜头视频。