動画インペインティングとは？

AIは2段階で動画から物を消します。まず、SAM 2のようなセグメンテーションモデルが物の輪郭を一度取り、すべてのフレームで追いかけます。次にその領域を埋めます。背景が見えていたフレームからは実際の背景をコピーし、一度も見えていなかった部分は生成するので、埋めた部分がカメラと一緒に動きます。

マスクか指示か

消したいものの伝え方は2つあります。従来のVFXツールでは印を付けます。1つのフレームにマスクを描き、トラッカーに残りのフレームを追わせます。新しい生成型エディターでは、「左の自転車の人」のように言葉で指定すると、モデルがすべてのフレームでそれを見つけます。

マスクは正確ですが手間がかかり、トラッカーがずれると跡が残ります。言葉での指定は手軽ですが、境界はモデルが決めるので、確認してください。

他のフレームから借りる

写真と違い、動画には、物やカメラが動いた数フレーム前後に、物の後ろにあるものが映っていることがよくあります。ProPainterのようなオプティカルフローを使う手法は、各ピクセルがフレーム間でどう動くかを追跡し、背景が見えていたフレームから本物の背景を穴にコピーします。

一度も映っていないものを生成する

背景が一度も見えていない場所は、静止画の画像インペインティングと同じように、モデルが作り出すしかありません。生成AIの動画モデルはこれをクリップ全体に対して一度に行うので、作り出された部分もカメラに合わせて動き、質感を保ちます。

• 撮り直せないショットから、通行人、車、撮影スタッフを消す。
• VFXで、ワイヤー、リグ、ブームマイク、マーカーを消す。
• 表示する権利のないロゴや看板を取り除く。
• 古いフィルムの傷、ほこり、損傷した部分を修復する。
• 新しいものを追加する前に、シーンに空きスペースを作る。
• プライバシーのために、顔やナンバープレートをぼかすのではなく、別のものに置き換えて隠すこと。

削除の失敗の多くは、クリップを見れば予測できたものです。始める前に次の点を確認してください。

指示の中で痕跡も名指ししてください。たとえば「自転車に乗った女性と彼女の影を消して」。モデルが消すのは指定したものであって、意図したものではありません。

• 影や映り込みが残る：人物を消しても影が残ることがあります。消したいものに影や映り込みも含めましょう。
• 借りてこられる情報がない大きな領域では、物があった場所がぼやけたり、にじんだりします。
• 埋めた部分のちらつき。各フレームが少しずつ違う埋め方をされると起こります。時間的一貫性の破綻です。
• カメラが動くショットや、木の葉、群衆、水のような細かい質感で、細部が失われる。

あるフレームでは正しく見えた除去が次のフレームでは崩れる、というのがよくある失敗です。埋めた部分がフレームごとに少しずつ違って生成されてちらつくか、何かが前を横切ったときにトラッカーが物を見失い、数フレームの間その物が戻ってくるかのどちらかです。SAM 2の開発者も、長く隠れたあとは追跡を失うことがあると述べています。短いクリップ、安定したカメラ、ほかの動くものと重ならない領域なら、トラッカーが見失うものは少なくなります。

削除する権利のない透かし、クレジット、キャプションは削除しないでください。

Morphで「削除する」を選び、4〜30秒のクリップをアップロードして、何を消すかを伝えます。Morphはその部分を埋め、クリップの残りと動きはそのまま保ちます。静止画なら、不要物除去で同じことができます。