跳到主要内容

AI 视频生成

什么是 AI 视频的时序一致性？

时序一致性是指视频在帧与帧之间让同样的事物保持同样样子的程度。在一致的 AI 视频中，一张面孔、一件衬衫或一栋建筑的变化，只会像在真实镜头里那样发生。一致性失败时，你会看到闪烁、“融化”或互换的细节，以及慢慢变成另一个人的角色。

作者：DreamBench 团队。更新于 。

时序一致性概览

概览

含义
事物会随时间保持不变，除非故事情节改变了它们。
失败表现
闪烁、形变、身份漂移、物体凭空出现或消失。
难在哪里
每一帧都是生成的，而不是拍摄的；没有任何东西强制第 90 帧与第 1 帧一致。
跨镜头
有些作者也用这个词指代镜头之间的一致性。本页称之为角色一致性：那是另一个更难的问题。
在一个画幅内
空间一致性是同一概念在单帧内的体现：物体保持形状、颜色和位置。时间一致性关注的则是帧与帧之间如何变化。

一致

同样的人物、颜色和大小，一帧接一帧；只有动作在变化。

漂移

标记出的帧：先是一次颜色错误的闪现（闪烁），接着一个人物慢慢变成了另一个人（身份漂移）。

同一段视频片段的两条帧序列。在第二条中，有三帧出了问题：先是一次闪烁，接着慢慢漂移成另一个人。

一致性如何被打破

如何识别每种失败
你看到的现象常见原因
闪烁颜色、光线或纹理在一两帧内突然跳变各帧在形状上一致，但在表面细节上不一致
形变手、杯子或面孔“融化”成另一种形状快速运动时，模型跟丢了某个物体
身份漂移一个人慢慢变得像另一个人在视频片段的整个时长中逐渐累积的细小变化
突现物体在帧与帧之间凭空出现或消失某样东西被短暂遮挡后，再出现时模型已经“忘了”它
纹理游移衣服或墙上的图案在“游动”细节在每一帧中都以略有不同的方式重新生成

为什么 AI 视频很难保持一致

摄像机记录的是同一个世界，所以它拍下的各帧天然一致。模型则是逐一生成每一帧，这个过程中没有任何物理规律强制第 90 帧与第 1 帧保持一致。一致性必须靠学习获得。

如今的视频模型很大程度上是靠同时生成所有帧来实现一致性的：它们的注意力机制让每一帧的每个部分都能“看到”其他所有部分，跨越空间和时间。以前一次生成或编辑一帧的方法闪烁严重，原因正在于此。视频片段越长，需要保持一致的内容就越多，这也是大多数模型生成的视频片段以秒计、而不是以分钟计的原因之一。

逐段延长片段、或逐帧生成片段的模型，只能看到之前内容的一部分。每个衔接处都会累积漂移。

噪声

第 1 步

第 2 步

第 3 步

清晰画面

每一步都会去除一点噪声。真实模型要走几十步，而且是对视频片段的所有帧一起处理，正是这一点让各帧之间保持一致。

所有帧一起逐步去噪；正是这个共享的过程，让各帧能够彼此一致。

底层原理：一个片段，一个共享视图

开源模型 Wan 的技术报告描述了常见的设计。视频编码器在时间上把片段压缩 4 倍，在空间的每个方向上压缩 8 倍；扩散 Transformer 一次处理整个压缩后的片段，因此每一帧都是在“看到”其他所有帧的情况下生成的。

研究人员会对结果进行测量。VBench 等基准把视频质量拆分成多项独立评分，其中就包括时序闪烁和主体身份保持。

模型需要保持一致的内容有多少，用数字说明
数值这对一致性意味着什么
一段 5 秒、每秒 24 帧的视频片段120 帧，每一帧都是生成的每一帧都必须在每张脸、每种颜色和每处纹理上与其他 119 帧保持一致。
下面那段 15 秒的舞者镜次360 帧，一次不间断的环绕三次场景切换，舞者贯穿始终：如果会漂移，这个长度足以显现出来。
Wan 的视频编码器在时间上压缩 4 倍，在空间的每个方向上压缩 8 倍Transformer 以这种压缩后的形式一次看到整段视频，这正是每一帧都能参照其他所有帧的原因。
VBench16 个维度，各自单独评分时序闪烁和主体一致性是分开评分的，所以一个模型可能一项表现好，另一项表现差。
DreamBench 上的 Morph一段 4 到 30 秒的视频片段，保留其动作和节奏原始素材为编辑定锚；只有你要求的改动是生成的，一致性也正是在那里可能出问题。

一次严苛的时序一致性测试

对一致性最难的描述，是改变主体周围的一切，同时要求主体完全不变。这段在 DreamBench 上用 Seedance 2.5 生成的视频，让镜头围绕一位舞者不间断环绕 15 秒，舞台先变成森林，再变成水池。

原样呈现的描述

A dancer in flowing ivory silk performs on a dark empty theater stage under one warm spotlight, dust motes drifting in the beam. As she turns, her skirt sweeps across the frame and the theater dissolves behind it into a moonlit forest glade — the dust motes are now fireflies, the stage floor now moss and roots. She continues without pause; another turn, another sweep of silk, and the forest becomes a shallow reflecting pool at dusk, her feet throwing rings of water, droplets hanging in the air. Camera orbits her slowly throughout, never cutting. Soft rim light, drifting particles, dreamlike photoreal.
在 Seedance 2.5 上做的一致性测试。每次场景切换时，留意她的面孔、头发和丝绸：周围的世界可以变，这些却必须保持不变。 在 DreamBench 上制作，发布于 。
  • 在变化的时刻检查主体：也就是一个场景转入下一个场景的那些节点。
  • 在手和布料边缘处暂停查看：精细且快速移动的细节最先出现漂移。
  • 把首帧和尾帧并排对比：缓慢的漂移在播放时看不出来，在静帧里却很明显。

闪烁、漂移或形变：该改什么

时序一致性问题排查
可能原因可以尝试
颜色或光线在某一帧突然跳变细节和光线在每一帧中被重新生成时略有不同简化光线（“一束暖色聚光灯”），避免闪烁的光源，换一个模型试试。
面孔慢慢变了长视频中细小变化不断累积从这个人的一张图片开始，使用参考图，把视频片段缩短。
手或物体在运动中“融化”模型跟不上的快速动作在提示词中放慢动作，或在快速部分之前切到新镜头。
衣服或墙上的图案在游动繁复的纹理在每一帧都被重新生成要求素色的面料和表面，或者让背景虚化一些。
某个东西消失在人身后，再也没有出现它被挡住时，模型把它忘了避免长时间遮挡，或让物体始终留在画面中。
闪烁只在放大或导出后出现生成之后逐帧套用的滤镜或放大工具先和原始下载文件对比。放大工具可能会让原本轻微的闪烁变得更明显，而传统的去闪烁滤镜并不是为这类闪烁设计的。
角色在下一个镜头里变了样每个镜头都是单独的一次生成这就是角色一致性问题：在每个镜头中使用相同的参考图和相同的描述。

如何让 AI 视频更一致

  • 给模型一张图片：图生视频会固定首帧，需要模型凭空生成的内容就少了。
  • 在每个出现角色或产品的镜头中，都使用它们的参考图。
  • 少要求一些动作：缓慢的运镜和简单的动作，比快速甩镜头和打斗更容易保持稳定。
  • 把视频片段做短，再像电影那样在片段之间剪接，而不是拍一个长镜头。
  • 在每条提示词中都用同样的文字描述同一个角色。
  • 尽量避免繁杂的图案、小字和人群。

AI 视频编辑中的时序一致性

当你用 AI 编辑真实视频时，原始画面本来就是一致的；风险在于改动的部分不一致。替换后的面孔在滑动、被去除的物体又像幽灵一样回来，或者改变风格后的画面每一帧都在“沸腾”，这些都是编辑中时序一致性的失败。

为什么我改变风格后的视频会沸腾般晃动或闪烁？改变风格会保留每一帧的轮廓、景深和动作，重绘它们的表面，而表面正是每一帧都会略有不同地重新生成的部分：颗粒、笔触和细密图案会游动，形状却保持不变。请要求更平、纹理更少的风格，保持片段简短，使用前把结果和原片对比；原始素材是稳定的，所以任何闪烁都来自编辑。被去除的物体残影重现，是同一种问题出现在填充区域里。

DreamBench 如何让影片保持一致

DreamBench 在编写影片的每个镜头时，都会用同样的描述来写每个角色，你添加的图片会作为参考图，随每个需要它们的镜头一起发送。在 Morph 中，原视频的动作和节奏会被保留，所以编辑会贴合原始画面。

常见问题

时序一致性和角色一致性有什么区别？

时序一致性针对的是单个视频片段：同一事物在帧与帧之间是否保持不变？角色一致性针对的是多个视频片段之间：同一个人在第 1 个镜头和第 7 个镜头中看起来是否一样？

为什么我的 AI 视频会闪烁？

你的 AI 视频闪烁，是因为各帧在形状上一致，但在细节或光线上不一致，所以颜色和纹理每一帧都会略有不同地重新生成。更短的片段、更少的运动、一张起始图片、更简单的光线和更少的细密图案都能减少闪烁；事后加滤镜很少能消除它。

AI 视频闪烁怎么解决？

通常的办法是减少动作、简化光线、减少细密图案后重新生成镜头，或者替换闪烁的部分。事后套用滤镜很少能消除它。

时序一致性能衡量吗？哪个 AI 视频模型的一致性最高？

大致可以。VBench 等基准从多个独立维度为视频模型打分，其中包括时序闪烁和主体一致性，并在大量片段上取平均。没有模型能完全免疫，结果也取决于描述：缓慢简单的动作在每个模型上都稳，快速移动的人群在每个模型上都会出问题。对于你自己的镜头，请在两个模型上试同一段描述，比较首帧和末帧。

怎么让角色在多个镜头中保持一致？

要让角色在多个镜头中保持一致，请在每条提示词中使用同样的参考图和同样的描述，让镜头保持简短，并逐渐改变背景、光线和镜头。每个镜头都是单独生成的，所以你没有重复的内容都会被重新发明；DreamBench 会把你的参考图随每个需要它们的镜头一起发送。

为什么 AI 视频里的手和物体会“融化”？

当快速动作超出模型能跟踪的范围时，就会出现形变，一只手或一个杯子会被重新生成为新的形状。在提示词里把动作放慢，或者在快速部分之前切到一个新的镜头。

固定种子（seed）能让视频更一致吗？

不能。种子只是用同一条提示词重复生成同一段片段；它阻止不了片段内部的漂移。参考图、更少的动作和更短的片段才能。

时序一致性和时序连贯性是一回事吗？

是的，这两个名称指的是同一件事。研究论文中更常用“连贯性”（coherence），产品介绍中更常用“一致性”（consistency）。

为什么我的 AI 视频越到后面越差？

你的 AI 视频越到后面越差，是因为细小的变化会累积：每一帧都是参照其他帧生成的，但没有任何机制强制第 360 帧与第 1 帧完全一致，所以面孔、颜色或图案每秒都会漂移一点，到结尾时漂移最大。请让每个镜头保持简短，在镜头之间切换，并把首帧和尾帧并排对比，看看它移动了多远。

图生视频比文生视频更一致吗？

图生视频通常比文生视频更一致，因为第一帧是固定的，模型要凭空生成的东西更少：主体的脸、衣服和颜色是给定的，而不是猜的，所以之后的帧之间可以不一致的地方更少。视频片段离图片越远仍然会漂移，所以同样的建议依然适用：动作小、片段短，每个出现主体的镜头都放一张参考图。

为什么原视频不闪烁，我的 AI 编辑结果却闪烁？

原片不闪而 AI 编辑会闪，是因为新像素是每一帧生成的，而旧像素是拍摄的：编辑以视频片段的动作为条件，所以形状会跟着画面走，但被改动区域的表面每帧都重新生成，可能前后不一致。这在头发、烟雾、水面和快速运动上最明显。请要求更小的改动，让片段保持简短，使用前把编辑结果和原片对比一下。

相关内容

在 DreamBench 上

DreamBench 工具

术语

前往术语表查看更多

来源

DreamBench 是一个独立平台，与本页提及的公司没有关联，也未获得它们的认可。