AI 视频中的角色一致性是什么？

视频模型一次生成影片的一个镜头，除非你主动传递，否则第 4 个镜头的任何信息都不会传到第 5 个镜头：模型会重新从噪声开始，提示词没写到的地方全凭它创造。把“一个金色短发的女人”写两遍，你会得到两个不同的女人。

所以一致性来自每个镜头被提供了什么。同样的文字有帮助。图片帮助更大，因为面孔展示起来比描述起来容易：支持图片的模型（这种模式叫参考生视频）会保留它们能看到的面孔、发型和颜色。角色设定图（从正面、侧面和背面展示角色）帮助最大，因为它还展示了角色转过身的样子。

像图生视频那样从一张角色图片开始一个镜头也可行：首帧是固定的，但镜头离它越远，重新创造的内容就越多。

深入原理：参考图、身份嵌入和种子

参考图通过注意力机制进入模型，与文字使用的机制相同。IP-Adapter 通过自己的交叉注意力层把图片作为提示加入，与文字的交叉注意力层分开，整个适配器约 2200 万（22M）个参数，模型本身保持不变。

身份方法更进一步，直接对面孔本身编码。InstantID 只需一张人脸照片：一个独立的网络用这张面孔的特征和关键点引导生成，让人物在风格和姿势变化时仍可辨认。这种编码后的面孔就是身份嵌入。

最古老的方法是教会模型认识这个角色。DreamBooth 用一个主体的几张图片微调模型，直到它把一个独特的词与这个主体绑定，然后在新的场景、姿势、视角和光线中生成这个主体。LoRA 最初是为语言模型发表的，它让这种微调变得轻量：模型自身的权重保持冻结，只训练少量附加矩阵。两者都需要一个你能训练其权重的模型。

另一种思路是把图片放在一起生成。StoryDiffusion 在一批图片之间共享注意力，无需训练，让主体在一组图片中保持一致；多镜头视频模型也以类似的方式，在它们自己切出的镜头之间保持角色一致，但仅限于一次生成之内。

为什么种子保不住角色？种子固定的是初始噪声，所以同样的种子配上同样的提示词、时长、画幅和模型，会重复生成同样的片段。新镜头至少会改变其中一项，同样的噪声就会被以新的方式解读，而上一张面孔并没有被保存在任何地方。

两者的结果都是面孔发生变化，所以很容易混淆。时序一致性针对的是一个片段内部：第 90 帧和第 1 帧是否一致？角色一致性针对的是片段之间：第 2 个镜头里厨房中的女人，是不是第 9 个镜头里火车上的那个女人？一个稳定的片段，仍可能出现的是错误的人。

首尾帧可以把一个镜头的最后一帧带到下一个镜头的第一帧：衔接很顺，但第 12 个镜头仍然不知道第 3 个镜头是什么样。

每家模型厂商都有自己的做法。Google 的 Vertex AI 指南中，Veo 3.1 可接收最多三张同一个人、角色或产品的图片，并称 Veo 会在视频中保留主体的外观；在标准模型上，使用主体图片生成的片段时长为 8 秒。

Kling 把角色构建为主体。它的主体库指南要求每个主体 2 到 4 张图片，一张主图加最多三张其他角度的图片，建议主图为正面，并称 Kling 3.0 可以把最多三个主体绑定到一张首帧上。

Seedance 可以同时接收很多参考，但有一条规则在这里很重要：BytePlus 的 Seedance 2.0 系列教程指出，这些模型不接受直接包含真人面孔的参考图或参考视频，并提供它自己的数字人和经过授权的真人素材作为替代。

参考图上展示的东西，不管你想不想要，模型都会照搬，所以好的设定图会刻意保持简洁：

• 每个视角（正面、侧面和背面）里都是同样的面孔和发型，肤色也一致。
• 一张设定图只放一个角色：多一张面孔，就多一个可以借用的身份。
• 简洁的底色，没有投影或偏色，否则它们会出现在每个镜头里。
• 不要文字、标签或数字，模型可能会把它们写进镜头里。
• 按 Kling 的建议，用一张清晰的正面图作为主图，并露出完整服装。
• 地点单独放在自己的设定图上，不含角色。

为什么我的角色在一个镜头中途变了样？这是片段内部的漂移，属于时序一致性问题：缩短镜头、减少运动、在大幅转身之前切镜，比换一张新的参考图更有用。

• 在拍任何镜头之前，先把角色做成一张设定图，只做一次。
• 把这张设定图提供给出现这个角色的每个镜头，或者让每个镜头都从根据它制作的图片开始。
• 在每段提示词里逐字写出角色的几个关键特征。
• 尽可能整部影片都用同一个模型：每个模型读取参考图的方式都不同。
• 把不同镜头的静帧并排比较：在运动中注意不到的变化，在静帧里一目了然。

真人参考图就是他的肖像。请使用你自己的，或已获得对方许可的图片；如果视频可能被当成真实影像，请说明它是 AI 生成的。有些模型会直接拒绝真人面孔，Seedance 2.0 就是其中之一。

在 DreamBench 上，上传的图片会在使用任何积分之前接受检查，看起来是未满 18 岁真人的图片会被拒绝：使用条款不允许上传或呈现未满 18 岁的真人。在 Morph 中，含有真人的视频只有在你勾选确认画面中是你本人或已获得许可的人之后才会生成。

当你描述一部影片时，DreamBench 会先写好剧本，然后在渲染任何镜头之前先画好全体角色：每个角色、地点和道具都只画一次，做成设定图，在每个镜头中保持一致。在“画面里是谁？”下添加一张图片，并标记为角色、生物、地点或道具，设定图就会根据你的图片绘制，只取主体本身，而不带上它的光线或背景；你之前做过的设定图则按原样使用。

在绘制设定图之前，每个角色和道具都会获得一个身份锁定：面孔、侧脸、身体和尺寸，为全体角色一次性写好，让任何两个角色都不会共用一张面孔。从中提取的一小行标识信息，会被逐字写进出现这个角色的每个镜头，在能生成声音的模型上还会加上角色的声音，以及画面中的人数。

设定图如何进入镜头取决于模型。在 Seedance 2.5、Seedance 2.0、Veo 3.1 和 Vidu Q2 上，设定图会作为参考图随每个镜头一起发送。在其他模型上（包括 Veo 3.1 Fast、Lite 和 Kling 3.0），DreamBench 会先根据镜头的设定图绘制一张开场静帧，镜头再从这张静帧开始。

故事需要的变化，比如角色被雨淋湿，会在他们自己的设定图上画成一个变体。如果你选择审阅，就能在拍任何镜头之前先见到全体角色，并可以重新绘制任意一张设定图，或根据你自己的图片重新绘制。仍不理想的镜头，可以附上说明要修正什么的备注重拍。

原版

Morph 版

把背景换成 @livingroom，布局与 @floorplan 一致，再把 3 只猫换成 @yickshuncat、@oreo 和 @mango。