テキストから動画生成とは？

テキストから動画生成は、説明文と対になった膨大な数のクリップでモデルを学習させることで成り立ちます。どの言葉がどの見え方や動きに対応するかを学ぶのです。生成するときは、プロンプトをエンコードし、クリップ全体の大きさのランダムなノイズから始めて、言葉に合うフレームが残るまで段階的にノイズを取り除きます。

言葉以外に何の制約もないため、テキストから動画生成モデルはどのモードよりも自由度が高く、それが長所でもあり短所でもあります。同じプロンプトで2回生成すれば、2つの異なるクリップができます。生成の流れについて詳しくはAI動画生成をご覧ください。

テキストから動画生成として売られているツールのなかには、映像を生成しないものもあります。台本を受け取り、それに合うストック映像を選び、AIの音声と字幕を加えるのです。テキスト読み上げはさらに狭く、台本を音声にするだけで、映像はまったくありません。テキストから動画生成モデルは仕組みが違い、すべてのフレームを生成するので、映っているものは何も撮影されていません。

クリップの見た目の元になる画像がすでにあるなら、そこから始めましょう。画像から動画生成は、その画像を最初のフレームとして残し、動きを生成します。

プロンプト生成ツールはまた別のものです。プロンプトを書くだけで、動画は生成しません。AI動画プロンプト生成は、いくつかの選択肢を、モデルが読む順序どおりのショットの説明に変えます。Veo 3.1、Seedance 2.5、Kling 3.0向けのプリセットがあります。クリップを作るのは、あくまで動画モデルです。

動画モデルは、プロンプトをショットの説明のように読みます。各要素がはっきりしているほど、モデルが推測する部分は減ります。おすすめの順序は次のとおりです。

• 1プロンプトに1ショット：モデルが作るのはひと続きの1ショットなので、カメラの位置と動作は1つずつ書きましょう。
• 見たくないものではなく、見たいものを書きましょう。「人がいない」より「誰もいない通り」のほうがうまくいきます。
• カメラの動きを指定しましょう。指定しないとモデルが選びます。
• 画面上の文字は短くするか、入れずに後から追加しましょう。

このクリップは、下のプロンプトからDreamBenchで作りました。Veo 3.1で、1080p、サウンド付きです。よいプロンプトである理由は、どの文もモデルに見せられるものを与え、見せられないものは何も求めていないからです。

引用部分は、英語で書かれたままのプロンプトです。プロンプトは、モデルが理解できる言語なら何語でも使えます。

弱いプロンプトの多くは、間違っているのではなく短いだけです。以下の各ステップで情報を1種類ずつ加えると、そのたびにモデルが本来ランダムに決めていた選択がひとつ減ります。

プロンプトでは、途切れない1ショット、ゆっくりしたカメラの動き、セリフまで指定できます。英語以外の言語のセリフでもかまいません。Seedance 2.5で作ったこの30秒のテイクは、おたまから笑顔までを1つの連続したショットとして書き、料理人のセリフは日本語にしました。

• 雰囲気重視の作品やコンセプト映像。撮影に費用をかける前にアイデアを試せます。
• Bロール：ほかのショットの間に挟む街並み、自然、質感、群衆。
• 印象的な1つのイメージや瞬間を軸にしたSNS向けクリップ。
• 動く絵コンテ。監督とクライアントが同じシーンを共有できます。
• プレゼンテーション、音楽、ライブイベント用の背景やループ映像。

DreamBenchの動画モデルは、どれもテキストから動画を作れます。違いは、サウンド、最後のフレームも指定できるかどうか、そしてどれだけ精細に描けるかです。

どんな指示にも向くモデルはありません。モデル一覧の各モデルのページに、長さ、解像度、サウンドの選択肢が載っています。同じ指示を2つのモデルで試して比べてください。

• 言葉だけでは、特定の人物、商品、ロゴはわかりません。そうしたものには参照画像から動画生成のように参照画像を使い、キャラクターの一貫性のためにすべてのショットで使い続けてください。
• 看板やキャプションは、つづりが間違って出てくることがよくあります。
• 複数の段階がある複雑な動作は、短縮されたり、まとめられたり、順序が入れ替わったりします。
• 群衆、手、物同士の接触は、エラーが最初に出やすいところです。
• モデルが細部を見失うと、クリップがちらついたり、ずれたりします。時間的一貫性の破綻です。

動作が終わる前にクリップが止まるのはなぜですか？ クリップの長さはモデルがプロンプトを読む前に決まっているので、動作はその中に収められます。もっと長さが必要な動作は短縮されるか、手順が抜けるか、動きの途中で終わります。注文した秒数に収まる動作を1つ書くか、もっと長いクリップを注文してください。上の書き換え表が1ショットに動作1つとしているのは、このためです。

DreamBenchでは、プロンプトを1つずつ自分で書く必要はありません。作りたい映像を説明すると、DreamBenchがショットリストと、カメラ、光、動作、サウンドを含む各クリップの完全なプロンプトを書き、Seedance 2.5、Veo 3.1、Kling 3.0など、選んだモデルでレンダリングします。キャラクターや商品の画像を追加すれば、すべてのショットで参照画像として使われます。