AI 视频生成
什么是图生视频?
图生视频是从一张静态图片出发、根据提示词生成后续动态的 AI 视频生成方式。你的图片会原样成为第一帧,或作为让主体保持可辨认的参考图,由模型添加动态:一个人转身、海浪拍岸、镜头推近。
作者:DreamBench 团队。更新于 。
图生视频概览
概览
- 输入
- 一张图片和一段提示词;部分模型还可以加尾帧。
- 输出
- 一段短视频片段,每个镜头通常 4 到 15 秒,往往带有声音。
- 由你决定的部分
- 首帧,与你的图片完全一致。
- 由模型决定的部分
- 首帧之后的一切:动作、运镜,以及进入画面的内容。
- 不擅长
- 转开又转回来的面孔、手、文字,以及与图片差别很大的变化。
图生视频的原理
图生视频的原理是把你的图片放在一段原本全是噪声的片段的第一帧,标记为要保留的帧,然后在它旁边生成其余部分。另一个编码器读取图片的内容,让它的样貌延续到它从未展示过的帧中。提示词只控制动态。
图片决定了片段的开头,所以模型需要凭空生成的内容比文生视频少得多。它仍需生成的是图片中没有展示的一切:后脑勺、房间的其余部分、接下来发生的事。
深入原理:图片如何引导模型
开源的 Wan 模型记录了一种常见设计。图片由与视频相同的编码器压缩,作为首帧放入,后面跟着空白帧。蒙版把这一帧标记为保留,模型再在它旁边从噪声中生成其余部分。
第二个编码器会读取图片的内容并一并输入,因此图片的风格会延续到它从未呈现过的帧中。用同一个蒙版把最后一帧也标记为保留,这种方法就扩展成了首尾帧。
图生视频提示词怎么写
描述什么在动、镜头怎么动,而不是描述场景:图片已经定好了主体、光线和风格。“她转向窗口;缓慢推近;窗帘在微风中飘起”这样就够了。
首帧、尾帧或参考图
一张图片在视频中可以扮演三种角色。选择哪一种,决定了片段中有多少来自你、有多少由模型生成。
首帧
生成
生成
生成
生成
尾帧
首尾两端由你固定。模型会在两者之间生成一条符合提示词的过渡路径,所以两帧相差越大,模型需要凭空生成的就越多。
| 视频片段 | 能修正什么 | 适用于 | |
|---|---|---|---|
| 首帧 | 完全以你的图片开场 | 开场 | 让一张照片、一张产品图或你设计的画面动起来 |
| 首尾帧 | 从一张图片开始,在另一张图片结束 | 首尾两端 | 转场、揭晓、前后对比 |
| 参考图 | 一个有你的主体出现的新镜头 | 出现的人物或事物 | 在多个镜头中保持同一个角色或产品 |
哪些视频模型支持首尾帧
视频模型使用图片的方式各不相同:有些可以同时指定起点和终点,有些则不能。此表读取的是 DreamBench 创作面板所用的同一套设置:
| 模型 | 声音 | 首尾帧 | 分辨率 | 画面比例 |
|---|---|---|---|---|
| Seedance 2.5 | 可开可关 | 是 | 480p, 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Seedance 2.0 | 可开可关 | 是 | 720p, 1080p, 4K | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Veo 3.1 | 始终开启 | 是 | 720p, 1080p, 4K | 16:9 · 9:16 |
| Kling 4.0 | 始终开启 | 是 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Kling 3.0 | 可开可关 | 是 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| Wan 3.0 | 始终开启 | 是 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
| Wan 2.7 | 可开可关 | 是 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
| Grok Imagine 1.5 | 始终开启 | 仅首帧 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
| MiniMax H3 | 始终开启 | 是 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| HappyHorse 1.1 | 始终开启 | 仅首帧 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 · 21:9 |
| LTX-2.3 | 可开可关 | 是 | 720p, 1080p, 4K | 16:9 · 9:16 |
| Vidu Q2 | 可开可关 | 仅首帧 | 720p, 1080p | 1:1 · 16:9 · 9:16 · 4:3 |
“仅首帧”表示模型从你的图片开始,但无法指定在哪里结束。做转场和揭示效果时,请选择支持首尾帧的模型。
让静态图片动起来的方法
| 动的部分 | 保留的内容 | |
|---|---|---|
| 图生视频 | 主体、场景和镜头,全部全新生成 | 首帧;之后只靠模型自己记住的内容 |
| 平移和缩放(Ken Burns 效果) | 只有一台虚拟摄像机在照片上滑过 | 每个像素:不生成任何新内容 |
| 照片开口说话 | 一张脸,口型与语音同步 | 画面的大部分,保持静止 |
图生视频的常见用途
图生视频做不到的事
- 动作是它凭空生成的:照片拍下之后发生了什么,从来没有被记录下来。
- 转开又转回来的脸,可能会变得略有不同:这是时序一致性失效的表现。
- 片段离图片越远,能让它保持在正轨上的图片信息就越少。
- 有些模型会拒绝某些照片。在 DreamBench 上,Seedance 不接受含有真人面孔的参考图。
- 只让你有权使用的照片动起来;要让别人的照片动起来,请先征得对方同意。
为什么我的照片在视频里被裁剪了?在创作面板中,画幅是先选定的,首帧会被缩放到填满画幅并从中心裁剪,所以 16:9 片段里的 4:3 照片会失去上下两端。请先把照片裁成片段的形状,或者用 AI 扩图工具把它扩展成那个形状。单张照片工具会保留照片自己的形状;发虚或尺寸小的照片,先经过 AI 照片画质增强再动起来效果更好。
DreamBench 如何把图片变成视频
图生视频工具能把一张照片变成以它开场的短视频片段,让老照片动起来则专为家庭老照片而设计。
任何 DreamBench 生成结果也都可以作为参考图在创作面板中打开:抠好的图、修复后的照片、用AI 扩图扩展过的画面。DreamBench 会编写场景,并用你选择的视频模型渲染,比如 Seedance 2.5、Veo 3.1 或 Kling 3.0。
| 图生视频工具 | 创作面板 | |
|---|---|---|
| 输入 | 一张最大 40 MB 的照片,JPEG、PNG、WebP 或你的浏览器能打开的任何格式,运行前缩放到长边 2048 像素 | 一部影片最多 8 张参考图、一张首帧,以及在支持的模型上一张尾帧 |
| 时长 | 5 秒 | 4 到 300 秒,上限由套餐决定:Starter 为 30 秒,Plus 为 2 分钟,Ultra 和 Studio 为 5 分钟 |
| 分辨率 | 约 720p,无论照片多大 | 所有模型都支持 720p 或 1080p,Seedance 2.0、Veo 3.1 和 LTX-2.3 支持 4K |
| 画幅 | 照片自己的形状:竖版照片生成竖版片段 | 1:1、16:9、9:16、4:3 或 21:9,先选定;起始帧会被缩放至填满画幅,并以中心裁剪 |
| 声音 | 场景本身的轻微声响,没有人说话 | 能生成声音的模型提供对白、音效和环境声;上表显示了哪些模型支持 |
| 人脸 | 有人的照片绝不会发送给 Seedance、Veo 或 Grok Imagine;如果第一个模型拒绝,第二个会再试一次 | Seedance 会拒绝带有真人面孔的参考图,所以这样的影片会在另一个模型上渲染 |
常见问题
图生视频和文生视频有什么区别?
文生视频只从文字出发,所以一切画面外观都由模型决定。图生视频从一张图片出发,所以主体、光线和风格都来自你的图片,提示词只负责描述动作。
图生视频的片段最长能有多长?
大多数模型会根据一张图片生成一个约 4 到 15 秒的镜头。更长的视频由多个镜头组成,DreamBench 创作面板正是这样制作影片的。
也能设置尾帧吗?
可以,前提是模型支持首尾帧:你提供两张图片,模型生成它们之间的动作。有些模型只支持首帧。
AI 能让照片动起来吗?
可以。图生视频模型把你的照片作为第一帧,并根据一段简短的提示词生成接下来的运动:一个人转身、海浪拍打、镜头推近。片段通常为 4 到 15 秒,开头正好就是你的图片。一张清晰、只有一个明确主体、光线均匀、周围留有运动空间的照片动起来效果最理想;DreamBench 的工具会保持照片自身的形状,所以如果片段需要别的画幅,请先裁剪。
为什么视频里的脸和我的照片不一样?
脸会变,是因为只有第一帧是你的照片;之后的每一帧都是生成的,转过去又转回来的脸是根据模型的记忆重绘的。请让镜头和头部的动作小一些,片段短一些,并从一张清晰、光线充足、人脸占画面较大的照片开始。
图生视频能加声音吗?
在能生成声音的模型上可以:片段从你的图片开始,模型随着动态生成音效、环境声或对白。上表列出了哪些模型始终、可选或从不生成声音。
可以使用多张图片吗?
可以,有两种方式:在支持首尾帧的模型上提供首帧和尾帧,或者为角色或产品提供多张参考图,让它们在 DreamBench 创作面板制作的影片的各个镜头中保持可辨认。
可以在手机上把照片变成视频吗?
可以。DreamBench 的图生视频工具在手机浏览器中就能用,无需安装:从相册中选一张照片,片段会下载为 MP4。
可以让真人照片动起来吗?
部分模型可以。在 DreamBench 上,Seedance 会拒绝含有真人面孔的参考图,所以用这类照片制作的视频会使用其他模型。请只让你有权使用的照片动起来。
图生视频要花钱吗?
取决于 App。在 DreamBench 上,你需要先创建免费账号,并在生成第一个片段前选择套餐,每个片段都会消耗套餐中的积分。
图生视频会保留照片的画面比例,还是会裁剪?
在 DreamBench 的单张照片工具上,图生视频会保留照片的画面比例:竖版照片生成竖屏片段,横版照片生成横屏片段,约为 720p。在创作面板中,你先选择视频片段的画幅,起始帧会被缩放至填满画幅并以中心裁剪,所以开始之前请自己把照片裁成那个形状,或用 AI 扩图把它扩展到那个形状。
图生视频适合什么尺寸和格式的照片?
在 DreamBench 上用于图生视频的照片可以是 JPEG、PNG、WebP 或你的浏览器能打开的任何格式,最大 40 MB;运行前会缩放到长边 2048 像素,所以更大的文件没有额外帮助。比像素更重要的是一张清晰、光线充足、主体明确且不贴近边缘的图片,因为视频片段正是从它开始,之后的每一帧都由它生成。
图生视频需要多长时间?
在 DreamBench 的工具上,图生视频生成一段 5 秒的视频片段需要几分钟,生成好后页面会立即显示。如果第一个模型拒绝了你的照片,第二个模型会再试一次,这会多花一点时间;如果它也拒绝,这次运行的积分会退还。在创作面板中,一个镜头从不到一分钟到几分钟不等,取决于模型、时长、分辨率和声音。
我为图生视频上传的照片会怎样处理?
你为图生视频上传的照片会留在你的浏览器里,直到你生成片段。之后它只用于生成那段片段,别无他用,并在 7 天后连同结果一起从工具的存储中删除;保存到素材库的结果会一直保留,直到你删除。MP4 的文件数据中带有一个标签,注明它由 AI 在 DreamBench 上生成,画面上不会叠加任何东西。
相关内容
DreamBench 工具
模型页面
术语
来源
DreamBench 是一个独立平台,与本页提及的公司没有关联,也未获得它们的认可。