参照画像から動画生成とは？

参照画像から動画生成では、モデルが生成中にあなたの画像を読み取りますが、どの画像もクリップの中には置きません。各画像は何がどう見えるかを伝え、プロンプトは何が起きるかを伝えます。そのうえでモデルは、テキストから動画生成と同じようにすべてのフレームをノイズから生成し、見せられた顔、形、色を保ちます。

そこが画像から動画生成との違いです。画像から動画生成では画像が最初のフレームになり、カメラは正確にそこから始まります。参照画像を使う場合は冒頭をモデルが選ぶので、クローズアップ、ワイドショット、切り返しのどれでも同じ人物を映せます。映像のショットをまたいで一貫したキャラクターを得る、いちばん一般的な方法です。

仕組み：参照画像はどこに入るのか

このタスクをR2Vと呼ぶオープンなVACEモデルが、1つの設計を公開しています。各参照画像は動画と同じエンコーダーで圧縮され、クリップのフレームの前に置かれ、保持するフレームとして指定されます。モデルはその横でクリップを生成し、参照フレームはデコード後に切り取られます。

参照画像はフレームと同じ並びの中にあるので、フレーム10とフレーム11を一致させるアテンションが、両方をあなたの画像とも一致させます。この方法には画像のポーズや背景をコピーする仕組みはなく、どの部分を保つかは、モデルが学習用のペアから学びます。

Phantomの論文は、このタスクが頼るバランスを指摘しています。テキストと画像が一緒に導くということです。画像の比重が大きすぎると、写真のポーズ、背景、光といった内容が漏れ込みます。被写体が複数いると、モデルがそれらを混同することがあります。

参照画像から動画生成のプロンプトの書き方

• 各参照画像に名前を付け、それが動く場面で引用する：「@mia が棚から @lamp を持ち上げる」と書けば、どの画像がどの役を演じるかがモデルに伝わります。
• 被写体の見た目ではなく、動作、カメラ、光を書く。見た目は画像がすでに伝えていて、説明を重ねると画像とぶつかることがあります。
• 1枚の画像には1つの役割を。ランプを持った女性の写真には、1枚に被写体が2つ写っています。トリミングしないと、モデルが2つをセットで保ってしまうことがあります。
• ロケーションの参照画像があっても、ショットの場所を書く。そうすれば、それが舞台であって、貼り付ける背景ではないとモデルにわかります。

3つとも画像を受け取りますが、使い方が違います。問題は、あなたの画像をクリップのフレームにしたいのか、クリップに映るものの説明にしたいのかです。

どれを使うべき？手元にあるフレームでクリップを始めなければならないなら、画像から動画生成を。それぞれ違う場所から始まるショットで同じ顔や商品が必要なら、参照画像を。カメラはどこからでも始められます。

参照画像が役に立つのは、はっきり写っているものの分だけです。DreamBenchでは、すべての画像を4種類のどれかとしてタグ付けしてもらいます。種類ごとに、モデルに伝えることが違うからです：

商品は小道具として扱います。ロゴも同じですが、ロゴの文字はモデルがいちばん保ちにくい細部です。

参照画像は新しいショットだけでなく、編集も導きます。このMorphの編集では、指示文が3匹の猫のキャラクター設定シート、リビングルーム、その間取り図を名前で引用し、クリップはダンスを保ったまま、猫と部屋が変わります。

オリジナル

Morph版

背景を @livingroom に変えて @floorplan の配置どおりにし、3匹の猫を @yickshuncat、@oreo、@mango に差し替えてください。

動きは実際のクリップから来ているので、これは参照画像から動画生成ではなく、参照画像を使った動画から動画生成です。それでも参照画像の役割はどちらでも同じで、誰・何が登場するかを伝え、それ以外は伝えません。

各モデルの開発元はこの機能をそれぞれの名前で呼び、画像の上限もそれぞれ決めています。公式ページを確認した時点の記載です：

• 同じキャラクターが毎シーンに登場する短編映画やシリーズ。
• 商品広告：1枚の商品写真から、使われている場面のショットを何本も。ラベルもそのまま保たれます。
• どの投稿でも同じ見た目でなければならないマスコットやブランドキャラクター。
• ペット、おもちゃ、描いたキャラクターを新しい場面に登場させる。
• 店やアパートなど1つのロケーションを、そこで起きるすべてのショットで保つ。
• キャストがすでに配役どおりの見た目で動く絵コンテ。

• コピー＆ペースト：参照画像のポーズ、背景、光がまるごと出てしまい、どのショットも写真のように見える。無地の背景と均一な光が役立ちます。
• 被写体の混同：体格や色合いが似た2人は、顔や服が入れ替わることがある。違いをはっきりさせ、動く場面でそれぞれを名前で引用しましょう。
• 細部：ラベルの小さな文字、ロゴの文字、柄のある布は、形や色ほどには保たれない。
• 見えていない側：正面から撮った顔の参照画像では、後頭部はモデル任せになる。複数の角度を描いた設定シートなら、保てる情報が増えます。
• 画像が多すぎる：各モデルが1つのクリップで受け取れる枚数には限りがあり、それを超えると一部が使われない。
• 時間とともに生じるずれ：長いショットや動きの多いショットでは、それでも細部が失われることがある。時間的一貫性の破綻です。

なぜキャラクターが参照画像に似ないのでしょうか？たいていは、画像に一度にたくさん写りすぎています。小さな顔、きつい光、ほかの人物、ごちゃごちゃした背景などです。被写体だけをくっきり写した画像を使い、プロンプトで見た目を改めて説明せず、ショットを短くしましょう。

実在の人物の参照画像を使うと、その人が一度もいたことのない場面に登場させられます。自分の顔か、この使い方に同意した人の顔を使い、実写と間違われかねない動画にはその旨を表示してください。

• DreamBenchの利用規約では、実在の人物の肖像や声をAIで描写する前に、十分な説明を受けたうえでの許可を得ることを求めており、無許可の実在人物の描写、なりすまし、虚偽の推奨を禁じています。
• アップロードされた画像はすべて、クレジットを使う前にチェックされます。ヌード、残虐な表現、自傷は拒否され、18歳未満に見えるフォトリアルな人物も同様です。
• Seedanceは実在の人物の顔を受け付けません。顔が写った参照画像は拒否され、DreamBenchがその旨を伝えて、そうしたシーンには別の動画モデルを提案します。
• モデルの開発元も独自のルールを設けています。たとえばMiniMaxの被写体参照は、人物の顔の画像1枚だけを受け付けます。

DreamBenchのすべての動画モデルが、あなたの参照画像を使います。そのうち4つでは、画像はクリップごとに動画モデルへ送られます。それ以外では、まず画像モデルが画像をもとにクリップの冒頭の静止画を描き、動画モデルがその静止画を動かします：

クリップのモデルが受け取れる枚数がシーンの画像より少ない場合は、あなた自身がアップロードした画像が優先されます。いちばん多く受け取れるのはSeedance 2.5、いちばん少ないのはVeo 3.1なので、人物や小道具の多いシーンは、実在の人物の顔がなければSeedanceのほうが収まりやすくなります。

作成画面で映像を説明し、参照画像を最大8枚追加します。それぞれに名前とタグ（キャラクター、クリーチャー、ロケーション、小道具）を付けます。名前がハンドルになるので、「@mia が箱を開けて @lamp を取り出す」のように指示文の中で引用できます。指示文で@を入力すると、ハンドルの一覧が表示されます。

DreamBenchは次に、映像に必要なすべてのキャラクター、場所、小道具の設定シートを描きます。あなたの画像から作る設定シートは、その画像に写っている被写体そのものを描いたもので、名前から設定シートだとわかる画像はそのまま使われます。

• キャラクター設定シート：顔のクローズアップ、正面と背面からの全身、斜め前からの姿。どのコマも同じ顔で、無地のグレーの背景に描かれます。
• 小道具設定シート：正面と斜め前から見た物。
• ロケーション設定シート：人も小道具もない場所だけを描くので、そこから何かがコピーされることはありません。

各クリップには、そこに映るものの設定シートが添えられ、DreamBenchがそれを引用するショットのプロンプトを書きます。「シーンを編集」では各シーンの参照画像が表示され、1つを外したり、映像の別の設定シートを追加したり、自分の画像をアップロードしたりできます。上限は、そのシーンのモデルが受け取れる枚数までです。

ツールから始めることもできます。商品写真から動画を作成ツールでクリップを作ったあと、「ストーリーとして続ける」を押すと、写真を参照画像 @product にし、それを引用する指示文を入れた状態で作成画面が開きます。

最初の4枚の参照画像は動画の基本料金に含まれ、それを超える1枚ごとに、必要な設定シートの料金が加算されます。以前の映像から選んだ設定シートはそのまま使われるので、追加料金はかかりません。作成画面では、生成する前に合計がクレジットで表示されます。