AI動画の時間的一貫性とは？

カメラは1つの世界を記録するので、フレーム同士はもともと一致します。モデルは各フレームを生成するため、その過程には、90フレーム目を1フレーム目と一致させる物理的な必然性がありません。一貫性は学習で身につけるしかないのです。

現在の動画モデルは、すべてのフレームをまとめて生成することで、その多くを実現しています。アテンションによって、各フレームのあらゆる部分が、空間と時間をまたいで他のあらゆる部分を参照できるからです。1フレームずつ生成や編集をしていた古い手法がひどくちらついたのは、まさにこのためです。クリップが長くなるほど保つべきものが増えることも、多くのモデルが作るクリップが数分ではなく数秒である理由のひとつです。

クリップを少しずつ延ばしたり、1フレームずつ生成したりするモデルは、それまでの一部しか見ていません。つなぎ目ごとにずれが積み重なります。

仕組み：1つのクリップ、1つの共有された視点

オープンモデルWanのレポートでは、一般的な設計が説明されています。ビデオエンコーダーがクリップを時間方向に4分の1、空間の縦横それぞれ8分の1に圧縮し、拡散トランスフォーマーが圧縮されたクリップ全体を一度に処理するので、すべてのフレームがほかのすべてのフレームを見ながら生成されます。

研究者は結果を測定します。VBenchなどのベンチマークは、動画の品質を個別のスコアに分けており、その中には時間的なちらつきや、被写体の同一性の保持も含まれます。

一貫性にとって最も難しいプロンプトは、被写体の周りをすべて変えながら、被写体そのものはまったく変えないよう求めるものです。DreamBenchでSeedance 2.5を使って作ったこの例では、途切れない15秒間の周回ショットで1人のダンサーを捉えたまま、舞台が森に、そしてプールに変わります。

• 場面が切り替わる瞬間、つまりあるシーンが次のシーンに変わるところで、被写体を確認してください。
• 手と布の端で一時停止してみてください。細かく速く動く部分に、ずれは最初に現れます。
• 最初と最後のフレームを並べて比べてください。ゆっくりしたずれは、動いていると見えませんが、静止画にすると一目でわかります。

• モデルに画像を渡しましょう。画像から動画生成なら最初のフレームが決まるので、モデルが作り出す部分が減ります。
• キャラクターや商品が映るすべてのショットで、その参照画像を使いましょう。
• 動きを控えめにしましょう。素早いパンや格闘シーンより、ゆっくりしたカメラの動きやシンプルな動作のほうが崩れにくくなります。
• 1本の長回しではなく、映画のようにクリップを短くしてつなぎましょう。
• 同じキャラクターは、どのプロンプトでも同じ言葉で説明しましょう。
• 細かい柄、小さな文字、群衆は、できるだけ避けましょう。

AIで実際の動画を編集する場合、元の映像はすでに一貫しています。リスクは、変更した部分が一貫しないことです。滑るように動く差し替えた顔、ゴーストのように戻ってくる消した物、フレームごとにうごめくスタイル変更は、どれも編集における時間的一貫性の破綻です。

スタイル変更した動画がうごめいたり、ちらついたりするのはなぜですか？ スタイル変更はすべてのフレームの輪郭、奥行き、動きを保って表面を塗り直しますが、その表面がフレームごとにわずかに違って再生成されます。形は保たれても、粒子、筆の跡、細かな模様が揺らぎます。質感の少ないフラットなスタイルを指定し、クリップを短くし、使う前に結果を元の動画と見比べてください。元の映像は安定していたので、ちらつきはすべて編集によるものです。消した物がゴーストのように戻ってくるのも、埋めた領域で起きる同じ失敗です。

DreamBenchは、映像のすべてのショットを書き、各キャラクターに毎回同じ説明を使います。追加した画像は、それを必要とするすべてのショットに参照画像として送られます。Morphでは元のクリップの動きとタイミングが保たれるので、編集は元の映像に沿います。