跳到主要内容

AI 视频编辑

什么是视频局部重绘?

视频局部重绘是用与每一帧其余部分相协调的新内容,填充视频中选定的区域。AI 正是这样从视频片段中去除物体、人物、Logo 或字幕的:用原本可能存在的背景填补空缺,并在镜头和场景移动时保持稳定。

作者:DreamBench 团队。更新于 。

视频局部重绘概览

概览

输入
一段视频和要填充的区域:用蒙版画出,或用文字说明。
输出
逐帧替换了该区域的视频。
用途
去除物体、人物、线缆、Logo 和字幕;修复受损的画面。
最容易
小物体、稳定的镜头,以及在某个时刻会露出来的简单背景。
最难
大面积区域、繁杂的背景,以及物体后面从未露出过的东西。

视频局部重绘的原理

AI 分两步去除视频中的物体。首先,SAM 2 这样的分割模型勾勒出物体一次,再在每一帧中跟踪它。然后填补这块区域:从背景可见的帧中复制真实背景,从未露出的部分则生成,所以填补内容会随镜头一起运动。

  1. 源视频

    你上传的视频片段:它的动作、节奏和镜头运动始终是基础。

  2. 找到区域

    模型找到你指定的内容,并在每一帧中跟踪它。

  3. 生成改动

    只为该区域生成新的像素:一张新的面孔、一个添加的物体、一片空出来的背景。

  4. 随时间融合

    光线、阴影和动作都会对齐,让改动在帧与帧之间保持稳定。

  5. 编辑后的视频

    你没有提到的一切,都应保持原样。

局部重绘就是这条编辑流程,只不过“生成改动”在这里指的是“生成物体后面原本的内容”。

蒙版或指令

指明要去掉什么有两种方式。在传统视觉特效工具中,你需要标记它:在一帧上画出蒙版,再让跟踪器在其余帧中跟随它。在较新的生成式编辑器中,你用文字说出它,比如“左边那个骑车的人”,模型就会在每一帧中找到它。

蒙版精确但费工夫,跟踪器一旦跑偏就会留下痕迹。文字描述很快,但边缘位置由模型决定,所以要检查一下。

从其他帧借用内容

与照片不同,当物体或镜头移动后,视频往往会在前后几帧中露出物体后面的东西。ProPainter 等基于光流引导的方法会跟踪每个像素在帧与帧之间如何移动,并把在其他帧中看到过的真实背景复制到空缺处。

生成从未出现过的内容

在背景从未露出过的地方,模型只能凭空生成,就像图像局部重绘处理静态图片那样。生成式视频模型会对整段视频片段一次性完成这项工作,所以生成的部分会随镜头移动,并保持自身的纹理。

视频局部重绘的用途

  • 从无法重拍的镜头中去掉路人、车辆或剧组人员。
  • 在视觉特效中清理威亚、支架、吊杆话筒和跟踪标记点。
  • 去掉你无权展示的 Logo 或招牌。
  • 修复老胶片上的划痕、灰尘和受损区域。
  • 在给场景添加新内容之前,先腾出空间。
  • 为保护隐私而遮盖人脸或车牌,方式是替换而不是打码。

视频局部重绘及相关术语

相近但用途不同的术语
作用结果
视频局部重绘填充画面内部的区域被去除或替换的东西
视频扩图把画面扩展到原有边缘之外更宽或更高的视频
转描在每一帧中勾勒出主体的轮廓用来把它抠出来的蒙版
去除背景把主体与背景分离透明背景上的主体

从视频中去除物体之前

大多数失败的去除,事先从视频片段就能看出来。开始前先检查这几点:

这次去除能成功吗?
好兆头危险信号
尺寸物体只占画面的一小部分它占据画面的三分之一或更多
背景它背后的背景在视频片段中某个时刻露出来过它从未露出来,所以只能凭空生成
动作物体或镜头在移动,露出了后面的内容两者都不动,所以没有一帧露出背景
纹理天空、墙面、草地、远处的水面面孔、文字、人群、精细图案
痕迹没有影子或倒影影子、倒影或水花也要一起去掉

在指令中点明这些痕迹:“去掉骑车的女子和她的影子”。模型去掉的是你说出的东西,而不是你心里想的东西。

视频局部重绘何时会失败

  • 残留的阴影和倒影:人去掉了,影子还在。要把它们也列入你要求去除的内容。
  • 物体原来的位置留下一片模糊或涂抹痕迹,多见于没有内容可借用的大面积区域。
  • 当每一帧的填充方式略有不同时,被填充的区域会闪烁:这是时序一致性的失败。
  • 在运动的镜头和树叶、人群、水面等繁杂纹理上丢失细节。

这一帧看着对、下一帧就不对的去除,是最常见的失败。要么填补内容每帧重新生成时略有不同而闪烁,要么有东西从物体前面经过时追踪器跟丢了它,物体又回来几帧:SAM 2 的作者指出,长时间遮挡后它可能会跟丢。更短的片段、更稳的镜头,以及一个远离其他运动物体的区域,能让追踪器更不容易跟丢。

不要去除你无权去除的水印、署名或字幕。

在 DreamBench 上去除视频中的内容

在 Morph 中选择“删除内容”,上传一段 4 到 30 秒的视频片段,并说明要去掉什么。Morph 会填充该区域,同时保留视频片段的其余部分及其动作。如果是静态图片,去除物体工具也能完成同样的工作。

在 DreamBench 上从视频中去除内容,用数字说明
数值这对你的视频片段意味着什么
视频片段一次编辑 4 到 30 秒更长的视频会分段编辑。包含真人的视频片段上限更短,你选的部分太长时,Morph 会提示你。
如何描述用文字描述,无需画蒙版写出物体、它的位置,以及它的阴影和倒影:模型会在每一帧中找到它。
声音保留自原片段,或生成以匹配编辑设置编辑时由你选择;保留时,它会被放回编辑后的画面之下。
价格来自你套餐的积分与 Morph 的每次编辑相同。
对于照片AI 去除物体工具在静态图片上做同样的事,7 积分起。

常见问题

AI 能把视频里的人去掉吗?

是的,AI 可以通过视频修补把人从视频中去掉。当这个人在画面中较小、镜头稳定,并且他身后的背景在片段的某个时刻能看到时,效果最可靠。也要说明他的阴影和倒影,否则它们会留下。

局部重绘和扩图有什么区别?

局部重绘填充的是画面内部的区域,比如物体原来所在的位置。扩图则在画面边缘之外添加新内容,让画面更宽或更高。

图片局部重绘和视频局部重绘有什么区别?

视频局部重绘必须在每一帧中填充同一区域,让它在播放时保持稳定。它还可以从背景可见的帧中借用真实背景,这是单张照片做不到的。

为什么我去除东西的地方有模糊或残影?

出现模糊说明模型能依据的信息太少:区域太大、背景从未露出,或动作太快。试试更短的片段、更小的区域,或背景可见的镜头。时隐时现的淡淡轮廓,是跟踪偏移,或是残留的阴影和倒影;请在指令中把它们写出来。

去除物体会改变视频的其他部分吗?

不应该:好的去除只触及你指定的区域。生成式编辑器可能会微调附近的小细节,所以使用前请把结果和原图对比一下。

AI 能去除视频中的水印或字幕吗?

技术上这和任何去除工作一样,在镜头稳定、标记后面是纯色背景的情况下效果最干净。只去除你有权去除的标记:你自己片段上的平台水印可以去掉;素材库或创作者的水印则不行。

视频局部重绘能去除视频背景吗?

不能。局部重绘是用背景填补一块区域;去除背景则是相反的工作,要在每一帧上把主体分离出来,这叫转描或视频抠图。DreamBench 的抠图工具处理的是照片。

可以从多长的视频片段中去除内容?

在 DreamBench 上,Morph 一次运行编辑视频片段的 4 到 30 秒;更长的视频会被切成几部分,各自单独编辑。包含真人的视频片段会在上限更短的通道上编辑,你选的部分太长时,Morph 会告诉你。大多数生成式编辑器处理的是几秒而不是几分钟,因为编辑的每一帧都是一起生成的。

从视频中去除物体会保留声音吗?

可以,只要你想保留。在 DreamBench 上,设置编辑时由你选择是否保留片段自己的声音;保留时,它会被放回编辑后的画面之下,否则 Morph 会生成与编辑相配的声音。去除本身只影响画面,所以只要你选择保留,片段里原有的人声或音乐都还在。

从视频中去除内容需要画蒙版吗?

在 Morph 中不需要:你写出要去掉的东西,“左边的骑车人和她的影子”,模型会在每一帧中找到它。传统视觉特效工具则相反,在一帧上画好蒙版,再追踪到其余各帧,这很精确,但费工夫。用文字更快,边缘在哪里由模型决定,所以请在结果中检查边缘。

前往术语表查看更多

来源

DreamBench 是一个独立平台,与本页提及的公司没有关联,也未获得它们的认可。