AI 视频编辑
什么是动作迁移？
动作迁移是一种 AI 视频编辑，它把一段视频中的动作应用到另一个角色上。模型逐帧读取表演者的姿态和节奏，然后根据一张图片或一段描述生成一个新角色，以同样的节奏做出同样的动作，从一段舞蹈到一个耸肩。
作者：DreamBench 团队。更新于 。
动作迁移概览
概览
- 又称
- 根据产品不同，叫作运动控制、姿态迁移或舞蹈迁移。
- 输入
- 一段驱动视频（即表演）和一个目标：一张图片，或对新角色的文字描述。
- 输出
- 新角色以相同的节奏做出相同的动作。
- 保留的内容
- 姿势、节奏，通常还有镜头运动。不包括表演者的面孔、身体或服装。
- 适用于
- 舞蹈和潮流挑战、角色动画、吉祥物广告、预演。
- 不擅长
- 手、交叉的四肢、非常快的动作、与人体形态相差很大的身体。
动作迁移：前后对比
原版
Morph 版仔细看，两段并非逐帧相同。Morph 把镜头放得更低、更近，并把开场的那一摔拍成了特写。这是生成式动作迁移的典型表现：它保留的是表演的节拍，即节奏和姿势，而镜头和细节则重新生成。
动作迁移的原理
表演
一段有人在动的视频：动作的来源。
动作
逐帧读取的姿势：关节和节奏，不含外貌。
新角色
在同一时刻、以相同姿势生成的另一个角色。
动作迁移分两步进行。首先，一个姿态模型读取每一帧中的表演者：头、肩、肘、手、髋、膝和脚在哪里。结果是一具运动的骨架，不带任何外貌特征。
然后，视频模型以这副骨架为引导逐帧生成新角色，同时由一张图片或一段描述决定角色的外观。Everybody Dance Now（2018 年）和 Animate Anyone（2023 年）等研究系统奠定了这种方法；如今的视频模型将它整合为一次生成，有时除了骨架，还会读取深度和面部信息。
引导步骤通常借鉴 ControlNet 的结构，这是 2023 年提出的一种方法，可以为已训练好的图片模型加入边缘、深度和人体姿态等空间控制。姿态控制身体的位置，其余一切仍由模型绘制。
动作迁移的类型
| 读取的信息 | 会保留 | |
|---|---|---|
| 全身姿态迁移 | 骨架：头、肩、肘、手、髋、膝、脚 | 舞蹈、走路、手势和打斗，连同它们的节奏 |
| 面部与表情迁移 | 面部关键点：眼睛、眉毛、嘴巴、头部的转动 | 表情、眨眼、头部动作和口型 |
| 运镜迁移 | 镜头在场景中的运动方式 | 推镜、环绕或手持晃动，不涉及任何身体动作 |
动作迁移、动作捕捉与转描
| 输出 | 用途 | |
|---|---|---|
| 动作迁移 | 一段由新角色出演的成片视频 | 社交媒体视频、广告、快速动画 |
| 动作捕捉 | 供 3D 骨骼绑定使用的动画数据 | 游戏、电影、3D 角色 |
| 转描 | 沿着拍摄画面描出的轮廓或绘画 | 视觉特效、手绘动画 |
动作迁移的常见用途
- 潮流挑战：让宠物、卡通角色或历史人物跳一段舞。
- 像真人出镜人一样活动的吉祥物和品牌角色。
- 无需关键帧的动画：用手机把动作演出来，再交给一个角色。
- 预演：先用替身排演一场戏，再看它换成最终角色后的样子。
动作迁移会在哪些地方出问题
- 手和手指：又小又快，常常被识别错，结果变得模糊或多出几根。
- 重叠：手臂横过身体，或两个人相互接触，都会让姿态识别出错。
- 差异很大的身体：把人类的舞蹈交给一条蛇或一辆车，就没有可以对应的关节。
- 速度：非常快的动作和运动模糊会让骨架丢帧。
- 一致性：新角色的面孔和服装可能会随着动作逐渐漂移；参见时序一致性。
为什么 Morph 编辑了我的片段，而不是复刻它的动作？Morph 从你的文字中判断任务：要求某人去做、模仿或跟随这些动作，或者像片段里那样跳舞的句子，会按这些动作生成新视频；只描述某个地方的某个人的句子，比如“林中空地上的一只卡通狐狸”，也是如此。以“替换”“删除”“变成”这类表示改动的动词开头的句子，会就地编辑片段，除非它让某人去做这些动作。如果它理解错了，请在运行前切换到“复刻动作”；创作面板会在你的文字下方说明它将生成两者中的哪一种。
使用你自己拍摄或拥有使用权的表演；未经本人同意，不要让真实人物看起来做了他们没做过的事。
DreamBench 上的动作迁移
在 Morph 中选择“动作迁移”，上传一段 4 到 30 秒的视频片段或选择一个模板，再用一张图片标记要来表演这段动作的角色。Morph 会保留原视频的节奏。这是 Morph 能做的五种编辑之一，其他几种请参阅 AI 视频编辑。
| 上限 | 这意味着什么 | |
|---|---|---|
| 驱动视频 | 上传的 MP4、MOV 或 WebM，或一个模板；选取其中 4 到 30 秒的一段 | 选出带有动作的部分：价格是固定的基础费用加上所选片段每秒的费率，运行前会显示。 |
| 角色 | 最多 4 张图片，PNG、JPEG 或 WebP，每张 10 MB，在你的文字中以 @Image1 到 @Image4 引用 | 一张清晰的角色图片决定脸、身体和衣着；视频片段只决定动作。 |
| 真人 | 恰好一张照片，即做动作的人，并勾选确认那是你本人或已同意的人 | 照片（连同它自己的背景）由视频片段驱动，在允许真人面孔的通道上渲染。 |
| 原文 | 最多 2000 个字符；“做同样的动作”或“像这样跳舞”会自动让 Morph 切换到“复刻动作” | 只描述新角色、没有表示改动的动词的句子，也会被读作动作迁移；如果 Morph 猜错了，请自行切换。 |
| 输出 | 先生成 480p 的预览版，再以 1080p 或 720p 生成高清版；保留原片的声音 | 舞蹈仍跟着原来的音乐；1080p 渲染会补全预览版的那一镜次，720p 则重新渲染。 |
常见问题
动作迁移是深度伪造（deepfake）或换脸吗？
它可能构成深度伪造：让卡通形象或你自己的角色动起来不是，但未经同意让一个真实的人看起来做了他们没做过的事就是，而且在你所在的地方可能违法。它不是换脸：换脸保留视频、只改变脸属于谁，而动作迁移只保留动作，生成一个新的角色，包括脸和身体。
怎么让角色跳出视频里的舞蹈？
要让角色表演视频里的一段舞蹈，请使用一段只有一个人、全身入镜、镜头稳定、时长 4 到 30 秒的视频片段。在 Morph 中选择“动作迁移”，上传该片段，再用一张图片标记角色。Morph 会保留原视频的节奏，生成该角色表演这段动作的视频。
动作迁移需要 3D 模型吗？
不需要。AI 动作迁移只需要一段视频，以及一张图片或一段描述。需要骨骼绑定的是用于 3D 动画的动作捕捉。
哪些动作迁移起来最可靠？
一个人，全身在画面内，以中等速度运动，镜头基本不动：舞蹈、行走和手势。快速旋转、交叉的四肢、手部以及两人接触最不可靠：手小而且动得快，所以姿态模型常常读错，视频模型会把手指弄模糊或多画几根；两名表演者交叉或接触会干扰姿态读取，所以请逐个迁移。
任何视频都能用作动作参考吗？
技术上大多数片段都可以，但请只使用你自己拍摄或拥有权利的表演。Morph 接受 4 到 30 秒的视频片段。
动作迁移和角色一致性有什么关系？
动作迁移决定角色如何运动；角色一致性保证角色的样子不变。好的结果两者缺一不可：动作正确，并且从第一帧到最后一帧，脸和衣服都保持一致。
什么样的驱动视频效果好？
一个人，全身入镜，背景简洁，光线稳定，镜头不怎么移动。清晰、不太快的动作迁移效果最好。
动作迁移会保留运镜吗？
通常会，但不总是。节拍和姿势会保留下来；生成式工具可能会重新构图，比如上面的格斗示例就把机位放得更低、更近。如果机位重要，请要求镜头保持与原拍摄一致。
可以把人的动作迁移到动物或卡通角色上吗？
可以，前提是这个身体有骨架能对应的四肢：上面的格斗就是由三只猫表演的。蛇或汽车没有关节来承接姿势，所以结果会走样。
动作迁移要花钱吗？
有些工具提供试用。在 DreamBench 上，你注册免费账号并选择套餐，每次 Morph 编辑都从中消耗积分。
可以让我自己跳视频里的那段舞吗？
可以。要在 DreamBench 上让你自己跳视频里的舞，请在 Morph 中开启“真人”，只添加一张照片，也就是做动作的那个人，并勾选确认框，确认是你本人或已获许可的人。照片（连同它自己的背景）由视频片段驱动，在允许真人面孔的通道上渲染；默认情况下 Morph 会拒绝真人面孔。请只使用你自己的脸，或你已获许可的脸。
动作迁移会保留原视频的声音吗？
DreamBench 上的动作迁移会保留原视频的声音：片段自身的声音会在最后叠回新视频之下，这一步显示为“添加声音”，所以舞蹈仍跟着原来的音乐，台词也仍在原来说出的位置被听到。“保留视频片段的声音”开关默认开启；想在编辑软件中添加你自己的音轨，就把它关掉。请只使用你有权发布的音乐。
为什么我的角色的脸在跳舞过程中变了？
你的角色的脸在跳舞过程中会变，是因为新角色的每一帧都是生成的，骨架只固定身体的位置；脸每一帧都根据你的图片和模型的记忆重新绘制，快速转身、手掠过脸部和较长的片段都会给它更多漂移的机会。请用一张清晰、光线充足的角色图片，选片段中动作较慢的一段，缩短时间窗口，并把满意的那条渲染成高清版。
相关内容
在 DreamBench 上
来源
- Everybody Dance NowarXiv，查阅于
- Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character AnimationarXiv，查阅于
- Adding Conditional Control to Text-to-Image Diffusion ModelsarXiv，查阅于
DreamBench 是一个独立平台，与本页提及的公司没有关联，也未获得它们的认可。