什么是文生视频？

文生视频的原理是用海量配有描述的视频片段训练模型，让它学会哪些词对应哪些画面和动作。生成时，它先对你的提示词进行编码，从一段整个片段大小的随机噪声开始，一步步去除噪声，直到剩下与文字相符的画面。

除了文字，没有任何东西约束它，所以文生视频模型拥有所有模式中最大的自由度，这既是它的优势，也是它的弱点：同一条提示词运行两次，会得到两段不同的视频片段。想深入了解整个流程，请参阅 AI 视频生成。

有些号称文生视频的工具并不生成画面。它们拿到脚本后挑选匹配的素材片段，再配上 AI 配音和字幕。文字转语音范围更窄：只把脚本变成声音，完全没有画面。文生视频模型的工作方式不同：它生成每一帧，所以你看到的一切都不是实拍的。

如果你已经有一张图片，展示了片段应有的样子，那就从它开始：图生视频会把你的图片作为首帧，再生成动作。

提示词生成器又是另一回事：它只写提示词，不生成视频。AI 视频提示词生成器把几项选择变成一段镜头描述，顺序就是模型阅读的顺序，并提供 Veo 3.1、Seedance 2.5 和 Kling 3.0 的预设；视频片段仍由视频模型生成。

视频模型读提示词的方式，就像读一份镜头描述。每个部分写得越清楚，模型需要猜的就越少。一个实用的顺序是：

• 一条提示词对应一个镜头：模型生成的是一个连续镜头，所以只描述一个机位和一个动作。
• 描述你想看到的，而不是你不想看到的：“空荡荡的街道”比“没有人”效果更好。
• 说明运镜方式，否则模型会自己选一种。
• 屏幕上的文字要简短，或者干脆不放，之后再添加。

这段视频是在 DreamBench 上根据下方的描述，用 Veo 3.1 以 1080p 带声音生成的。它之所以是好描述，是因为每句话都给了模型可以呈现的内容，没有一句是它做不到的。

引号里是描述的英文原文：提示词用模型能理解的任何语言都可以。

大多数弱提示词不是写错了，而是写得太短。下面每一步都补充一类信息，每一步都替模型省去一个原本会随机做出的选择。

一段描述可以要求一个不间断的镜头、一次缓慢的运镜和一句台词，甚至是另一种语言的台词。这段用 Seedance 2.5 生成的 30 秒视频，从舀汤的勺子到最后的微笑写成一个连续镜头，厨师的台词用的是日语。

• 氛围短片和概念片，在投入拍摄成本之前先试验一个创意。
• 空镜：城市风光、自然景观、质感画面和人群，用于穿插在其他镜头之间。
• 围绕一个引人注目的画面或瞬间制作的社交媒体短视频。
• 会动的故事板，让导演和客户看到同一个场景。
• 用于演示、音乐和现场活动的背景画面和循环视频。

DreamBench 上的每个视频模型都能根据文字生成视频。它们的区别在于声音、能否同时接收尾帧，以及渲染的清晰度：

没有哪个模型适合所有描述。模型列表中每个模型的页面都给出了它的时长、分辨率和声音选项；用同一份描述在两个模型上测试并比较。

• 仅凭文字，它无法知道某个特定的人、产品或 Logo；这些请使用参考图，就像参考生视频那样，并在每个镜头中都保留它，以获得一致的角色。
• 招牌和字幕经常出现拼写错误。
• 包含多个步骤的复杂动作会被缩短、合并或打乱顺序。
• 人群、手和相互接触的物体，最先暴露错误。
• 当模型跟丢了某个细节时，视频就会闪烁或漂移：这是时序一致性的失败。

为什么我的片段在动作完成前就结束了？片段的长度在模型读取提示词之前就已固定，所以动作是被塞进这个长度里的：需要更长时间的动作会被缩短、丢步，或在动作中途结束。请写一个能装进你所订秒数的动作，或者订更长的片段；上面的改写表正是因此每个镜头只保留一个动作。

在 DreamBench 上，你不需要自己写每一条提示词。你只要描述想要的影片，DreamBench 就会写出镜头列表，并为每个视频片段写出完整的提示词，包括镜头、光线、动作和声音，然后用你选择的模型渲染，例如 Seedance 2.5、Veo 3.1 或 Kling 3.0。添加角色或产品的图片，它们就会在每个镜头中作为参考图使用。