AI 视频编辑
什么是视频局部重绘?
视频局部重绘是用与每一帧其余部分相协调的新内容,填充视频中选定的区域。AI 正是这样从视频片段中去除物体、人物、Logo 或字幕的:用原本可能存在的背景填补空缺,并在镜头和场景移动时保持稳定。
作者:DreamBench 团队。更新于 。
视频局部重绘概览
概览
- 输入
- 一段视频和要填充的区域:用蒙版画出,或用文字说明。
- 输出
- 逐帧替换了该区域的视频。
- 用途
- 去除物体、人物、线缆、Logo 和字幕;修复受损的画面。
- 最容易
- 小物体、稳定的镜头,以及在某个时刻会露出来的简单背景。
- 最难
- 大面积区域、繁杂的背景,以及物体后面从未露出过的东西。
视频局部重绘的原理
AI 分两步去除视频中的物体。首先,SAM 2 这样的分割模型勾勒出物体一次,再在每一帧中跟踪它。然后填补这块区域:从背景可见的帧中复制真实背景,从未露出的部分则生成,所以填补内容会随镜头一起运动。
源视频
你上传的视频片段:它的动作、节奏和镜头运动始终是基础。
找到区域
模型找到你指定的内容,并在每一帧中跟踪它。
生成改动
只为该区域生成新的像素:一张新的面孔、一个添加的物体、一片空出来的背景。
随时间融合
光线、阴影和动作都会对齐,让改动在帧与帧之间保持稳定。
编辑后的视频
你没有提到的一切,都应保持原样。
蒙版或指令
指明要去掉什么有两种方式。在传统视觉特效工具中,你需要标记它:在一帧上画出蒙版,再让跟踪器在其余帧中跟随它。在较新的生成式编辑器中,你用文字说出它,比如“左边那个骑车的人”,模型就会在每一帧中找到它。
蒙版精确但费工夫,跟踪器一旦跑偏就会留下痕迹。文字描述很快,但边缘位置由模型决定,所以要检查一下。
从其他帧借用内容
与照片不同,当物体或镜头移动后,视频往往会在前后几帧中露出物体后面的东西。ProPainter 等基于光流引导的方法会跟踪每个像素在帧与帧之间如何移动,并把在其他帧中看到过的真实背景复制到空缺处。
生成从未出现过的内容
在背景从未露出过的地方,模型只能凭空生成,就像图像局部重绘处理静态图片那样。生成式视频模型会对整段视频片段一次性完成这项工作,所以生成的部分会随镜头移动,并保持自身的纹理。
视频局部重绘的用途
- 从无法重拍的镜头中去掉路人、车辆或剧组人员。
- 在视觉特效中清理威亚、支架、吊杆话筒和跟踪标记点。
- 去掉你无权展示的 Logo 或招牌。
- 修复老胶片上的划痕、灰尘和受损区域。
- 在给场景添加新内容之前,先腾出空间。
- 为保护隐私而遮盖人脸或车牌,方式是替换而不是打码。
视频局部重绘及相关术语
从视频中去除物体之前
大多数失败的去除,事先从视频片段就能看出来。开始前先检查这几点:
| 好兆头 | 危险信号 | |
|---|---|---|
| 尺寸 | 物体只占画面的一小部分 | 它占据画面的三分之一或更多 |
| 背景 | 它背后的背景在视频片段中某个时刻露出来过 | 它从未露出来,所以只能凭空生成 |
| 动作 | 物体或镜头在移动,露出了后面的内容 | 两者都不动,所以没有一帧露出背景 |
| 纹理 | 天空、墙面、草地、远处的水面 | 面孔、文字、人群、精细图案 |
| 痕迹 | 没有影子或倒影 | 影子、倒影或水花也要一起去掉 |
在指令中点明这些痕迹:“去掉骑车的女子和她的影子”。模型去掉的是你说出的东西,而不是你心里想的东西。
视频局部重绘何时会失败
在 DreamBench 上去除视频中的内容
在 Morph 中选择“删除内容”,上传一段 4 到 30 秒的视频片段,并说明要去掉什么。Morph 会填充该区域,同时保留视频片段的其余部分及其动作。如果是静态图片,去除物体工具也能完成同样的工作。
| 数值 | 这对你的视频片段意味着什么 | |
|---|---|---|
| 视频片段 | 一次编辑 4 到 30 秒 | 更长的视频会分段编辑。包含真人的视频片段上限更短,你选的部分太长时,Morph 会提示你。 |
| 如何描述 | 用文字描述,无需画蒙版 | 写出物体、它的位置,以及它的阴影和倒影:模型会在每一帧中找到它。 |
| 声音 | 保留自原片段,或生成以匹配编辑 | 设置编辑时由你选择;保留时,它会被放回编辑后的画面之下。 |
| 价格 | 来自你套餐的积分 | 与 Morph 的每次编辑相同。 |
| 对于照片 | AI 去除物体工具 | 在静态图片上做同样的事,7 积分起。 |
常见问题
AI 能把视频里的人去掉吗?
是的,AI 可以通过视频修补把人从视频中去掉。当这个人在画面中较小、镜头稳定,并且他身后的背景在片段的某个时刻能看到时,效果最可靠。也要说明他的阴影和倒影,否则它们会留下。
局部重绘和扩图有什么区别?
局部重绘填充的是画面内部的区域,比如物体原来所在的位置。扩图则在画面边缘之外添加新内容,让画面更宽或更高。
图片局部重绘和视频局部重绘有什么区别?
视频局部重绘必须在每一帧中填充同一区域,让它在播放时保持稳定。它还可以从背景可见的帧中借用真实背景,这是单张照片做不到的。
为什么我去除东西的地方有模糊或残影?
出现模糊说明模型能依据的信息太少:区域太大、背景从未露出,或动作太快。试试更短的片段、更小的区域,或背景可见的镜头。时隐时现的淡淡轮廓,是跟踪偏移,或是残留的阴影和倒影;请在指令中把它们写出来。
去除物体会改变视频的其他部分吗?
不应该:好的去除只触及你指定的区域。生成式编辑器可能会微调附近的小细节,所以使用前请把结果和原图对比一下。
AI 能去除视频中的水印或字幕吗?
技术上这和任何去除工作一样,在镜头稳定、标记后面是纯色背景的情况下效果最干净。只去除你有权去除的标记:你自己片段上的平台水印可以去掉;素材库或创作者的水印则不行。
视频局部重绘能去除视频背景吗?
不能。局部重绘是用背景填补一块区域;去除背景则是相反的工作,要在每一帧上把主体分离出来,这叫转描或视频抠图。DreamBench 的抠图工具处理的是照片。
可以从多长的视频片段中去除内容?
在 DreamBench 上,Morph 一次运行编辑视频片段的 4 到 30 秒;更长的视频会被切成几部分,各自单独编辑。包含真人的视频片段会在上限更短的通道上编辑,你选的部分太长时,Morph 会告诉你。大多数生成式编辑器处理的是几秒而不是几分钟,因为编辑的每一帧都是一起生成的。
从视频中去除物体会保留声音吗?
可以,只要你想保留。在 DreamBench 上,设置编辑时由你选择是否保留片段自己的声音;保留时,它会被放回编辑后的画面之下,否则 Morph 会生成与编辑相配的声音。去除本身只影响画面,所以只要你选择保留,片段里原有的人声或音乐都还在。
从视频中去除内容需要画蒙版吗?
在 Morph 中不需要:你写出要去掉的东西,“左边的骑车人和她的影子”,模型会在每一帧中找到它。传统视觉特效工具则相反,在一帧上画好蒙版,再追踪到其余各帧,这很精确,但费工夫。用文字更快,边缘在哪里由模型决定,所以请在结果中检查边缘。
相关内容
在 DreamBench 上
DreamBench 工具
术语
来源
- SAM 2: Segment Anything in Images and VideosarXiv,查阅于
- ProPainter: Improving Propagation and Transformer for Video InpaintingarXiv,查阅于
DreamBench 是一个独立平台,与本页提及的公司没有关联,也未获得它们的认可。