AI動画のキャラクターの一貫性とは？

動画モデルは映像を1ショットずつ作り、あなたが渡さないかぎり、ショット4からショット5へは何も引き継がれません。モデルはノイズから作り直し、プロンプトで決まっていない部分は何でも作り出します。「短い金髪の女性」と2回書けば、2人の別々の女性が出てきます。

ですから一貫性は、すべてのショットに何を渡すかで決まります。同じ言葉は役立ちます。画像はもっと役立ちます。顔は説明するより見せるほうが簡単だからです。画像を受け取るモデル、つまり参照画像から動画生成と呼ばれるモードでは、見える顔、髪、色が保たれます。いちばん役立つのはキャラクター設定シート、つまり正面、横、後ろから見たキャラクターです。振り向いたときの姿も見せられるからです。

画像から動画生成のように、キャラクターの画像からショットを始める方法も使えます。最初のフレームは固定されますが、ショットがそこから離れるほど、多くが作り直されます。

仕組み：参照画像、アイデンティティ埋め込み、シード

参照画像は、テキストと同じ仕組みであるアテンションを通じてモデルに届きます。IP-Adapterは、テキスト用とは別の独自のクロスアテンション層を通じて、画像をプロンプトとして加えます。約2,200万（22M）パラメーターのアダプターで、モデル本体は変更しません。

アイデンティティ系の手法はさらに進んで、顔そのものをエンコードします。InstantIDは顔写真1枚から動作し、別のネットワークがその顔の特徴とランドマークで生成を導くので、スタイルやポーズが変わっても人物を見分けられます。そうしてエンコードされた顔が、アイデンティティ埋め込みです。

いちばん古い方法は、モデルにキャラクターを教え込むことです。DreamBoothは、被写体の画像数枚でモデルをファインチューニングし、固有の単語をその被写体に結びつけたうえで、新しい場面、ポーズ、視点、光でその被写体を生成します。もともと言語モデル向けに発表されたLoRAは、そうしたファインチューニングを軽くします。モデル自体の重みは固定したまま、追加した小さな行列だけを学習させます。どちらも、重みを学習させられるモデルが必要です。

別の考え方は、画像をまとめて生成することです。StoryDiffusionは学習なしで画像のバッチ全体でアテンションを共有し、一連の画像で被写体を一致させます。マルチショットの動画モデルも、似た方法で自分のカットをまたいでキャストを保ちますが、それは1回の生成の中だけです。

なぜシードではキャラクターを引き継げないのでしょうか？シードは初期ノイズを固定するので、同じシードで同じプロンプト、長さ、フレーム、モデルなら、同じクリップが繰り返されます。新しいショットではそのうち少なくとも1つが変わり、同じノイズが新しい形で読まれます。そして前の顔は、どこにも保存されていません。

どちらも顔が変わるという結果になるので、混同しやすいものです。時間的一貫性は1つのクリップの中の話です。フレーム90はフレーム1と一致しているか。キャラクターの一貫性はクリップをまたぐ話です。ショット2でキッチンにいる女性は、ショット9で電車に乗っている女性と同じ人か。安定したクリップでも、違う人物が映っていることはあります。

最初と最後のフレーム指定を使えば、あるショットの最後のフレームを次のショットの最初のフレームに引き継げます。つなぎ目はなめらかになりますが、ショット12はやはりショット3のことを知りません。

入り口は開発元ごとに違います。GoogleのVertex AIガイドでは、Veo 3.1に1人の人物、キャラクター、または商品の画像を最大3枚渡せ、Veoは動画の中で被写体の見た目を保つとしています。標準モデルでは、被写体画像を使って作るクリップの長さは8秒です。

Klingはキャラクターをエレメントとして作ります。そのElement Libraryガイドでは、1つのエレメントに画像を2〜4枚（メイン1枚と別の角度から最大3枚）求め、メインには正面向きの画像を推奨し、Kling 3.0は最大3つのエレメントを開始フレームに結びつけられるとしています。

Seedanceは一度に多くの参照素材を受け取りますが、ここで重要なルールが1つあります。BytePlusのSeedance 2.0シリーズのチュートリアルによると、これらのモデルは実在の人物の顔を直接含む参照画像や動画を受け付けず、代わりに独自のデジタルキャラクターと、許諾を得た実在人物の素材を提供しています。

モデルは、望むかどうかにかかわらず参照画像に写っているものをコピーします。だからよい設定シートは、あえてシンプルにします：

• 正面、横、後ろのどの角度でも同じ顔と髪で、肌のトーンもそろっていること。
• 1枚の設定シートにキャラクターは1人。2つ目の顔は、借用されうる2つ目のアイデンティティになります。
• 落ち影や色かぶりのない無地の背景。あると、すべてのショットに出てきます。
• 文字、ラベル、数字を入れない。モデルがショットに書き込んでしまうことがあります。
• Klingの推奨どおり、はっきりした正面の姿をメインの画像にし、服装全体が見えるようにする。
• 場所は、キャラクターのいない専用の設定シートに。

なぜショットの途中でキャラクターが変わるのでしょうか？それはクリップの中のずれで、時間的一貫性の破綻です。新しい参照画像よりも、短いショット、少ない動き、大きく振り向く前のカットのほうが効果があります。

• どのショットよりも先に、キャラクターを設定シートとして一度だけ作る。
• そのキャラクターが映るすべてのショットにその設定シートを渡すか、そこから作った画像で各ショットを始める。
• キャラクターを決定づけるいくつかの特徴を、すべてのプロンプトに一字一句同じに書く。
• できるだけ映像全体で1つのモデルを使う。参照画像の読み方はモデルごとに違います。
• 別々のショットの静止画を並べて比べる。動いていると見逃す変化も、静止画ならはっきりわかります。

実在の人物の参照画像は、その人の肖像です。自分の画像か、許可をくれた人の画像を使い、実写と見間違えられかねない動画にはAIで作ったものだと明記してください。Seedance 2.0をはじめ、実在の人物の顔を一切受け付けないモデルもあります。

DreamBenchでは、アップロードされた画像はクレジットを使う前にチェックされ、18歳未満の実在の人物が写っているように見える画像は拒否されます。利用規約では、18歳未満の実在の人物のアップロードや描写を認めていません。Morphでは、実在の人物が映る動画は、それが自分自身か許可をくれた人であることにチェックを入れてから作られます。

作りたい映像を説明すると、DreamBenchは脚本を書き、1つのショットもレンダリングしないうちにキャストを描きます。すべてのキャラクター、場所、小道具を一度だけ設定シートとして描き、どのショットでも同じにします。「映っているのは誰ですか？」の下に画像を追加し、キャラクター、クリーチャー、ロケーション、小道具のいずれかとしてタグ付けすると、その設定シートはあなたの画像から、光や背景ではなく被写体だけを取り出して描かれます。以前作った設定シートはそのまま使われます。

設定シートを描く前に、各キャラクターと小道具にはアイデンティティロックが与えられます。顔、横顔、体、大きさをキャスト全員分まとめて書くので、2人のキャラクターが同じ顔になることはありません。そこから取った短い識別情報の一文が、そのキャラクターが映るすべてのショットに一字一句そのまま書き込まれます。サウンドを作るモデルではキャラクターの声も、さらに画面に映る人数も一緒に書かれます。

設定シートがショットにどう届くかは、モデルによります。Seedance 2.5、Seedance 2.0、Veo 3.1、Vidu Q2では、設定シートが参照画像として各ショットに添えられます。それ以外のモデル（Veo 3.1 FastとLite、Kling 3.0など）では、DreamBenchがまずショットの設定シートから冒頭の静止画を描き、ショットはその静止画から始まります。

雨でずぶ濡れになったキャラクターのように、ストーリーに必要な変化は、そのキャラクター自身の設定シートのバリエーションとして描かれます。確認することを選べば、何かを撮る前にキャストを確認でき、どの設定シートも描き直したり、自分の画像から描いたりできます。それでもうまくいかないショットは、直したい点をメモに書いて撮り直します。

オリジナル

Morph版

背景を @livingroom に変えて @floorplan の配置どおりにし、3匹の猫を @yickshuncat、@oreo、@mango に差し替えてください。