画像から動画生成とは？

テキストから動画生成は言葉だけから始めるので、見た目はすべてモデルが決めます。画像から動画生成は画像から始めるので、被写体、光、スタイルは画像から引き継がれ、プロンプトでは動きを説明します。

ほとんどのモデルが画像から作るのは、約4〜15秒の1ショットです。長い動画は複数のショットから作られ、DreamBenchの作成画面もこの方法で映像を作ります。

はい。最初と最後のフレームに対応したモデルなら、2枚の画像を渡すと、その間の動きをモデルが生成します。最初のフレームしか受け付けないモデルもあります。

はい。画像から動画のモデルは写真を最初のフレームとして受け取り、短いプロンプトからそれに続く動きを生成します。人が振り向く、波が砕ける、カメラが寄る、といった動きです。クリップはふつう4〜15秒で、写真そのままの画面から始まります。はっきりした被写体が1つで、光が均一で、動くための余白がある鮮明な写真がいちばんよく動きます。DreamBenchのツールは写真の形をそのまま保つので、クリップに別の形が必要なら先に切り抜いてください。

顔が変わるのは、あなたの写真であるのは最初のフレームだけだからです。それ以降のフレームはすべて生成され、顔が横を向いて戻ると、モデルの記憶から描き直されます。カメラと頭の動きを小さく、クリップを短くし、顔が大きく写った鮮明で明るい写真から始めてください。

サウンドを生成するモデルならできます。クリップは画像から始まり、モデルが動きに合わせて効果音、環境音、セリフを生成します。どのモデルが常に、任意で、または一切サウンドを作らないかは、上の表にあります。

はい、2つの方法があります。両方に対応するモデルでの最初と最後のフレーム、または、DreamBenchの作成画面で映像の複数ショットにわたってキャラクターや商品を見分けられるまま保つ、複数の参照画像です。

はい。DreamBenchの画像から動画ツールはスマホのブラウザで動き、インストールするものはありません。カメラロールから写真を選ぶと、クリップはMP4でダウンロードできます。

モデルによってはできます。DreamBenchでは、Seedanceは実在の人物の顔が写った参照画像を受け付けないため、そうした写真から作る動画には別のモデルを使います。動かすのは、使う権利のある写真だけにしてください。

アプリによります。DreamBenchでは、無料アカウントを作成して最初のクリップの前にプランを選び、クリップごとにプランのクレジットを使います。

画像から動画生成では、DreamBenchの写真1枚用のツールなら写真のアスペクト比が保たれます。縦長の写真からは縦長のクリップ、横長の写真からは横長のクリップが、約720pでできます。作成画面では先にクリップのフレームを選び、開始フレームはそれを埋めるように拡大縮小されて中央でトリミングされるので、始める前に自分で写真をその形にトリミングするか、AI画像拡張で広げてください。

DreamBenchの画像から動画生成に使う写真は、JPEG、PNG、WebP、またはブラウザで開けるどの形式でもよく、40MBまでです。実行前に長辺2048ピクセルに縮小されるので、それより大きいファイルでも意味はありません。ピクセル数より大切なのは、鮮明で明るく、はっきりした被写体が1つ、端から離れて写っていることです。クリップはその写真そのものから始まり、それ以降のフレームはすべてそこから作り出されるからです。

画像から動画生成は、DreamBenchのツールでは5秒のクリップ1本に数分かかり、準備ができしだいページにクリップが表示されます。最初のモデルが写真の処理を断った場合は、2つ目のモデルが1回だけ試すため、少し時間が延びます。それも断られた場合は、その実行分のクレジットが戻ります。作成画面では、モデル、長さ、解像度、サウンドによって、1ショットに1分未満から数分かかります。

画像から動画生成のためにアップロードした写真は、クリップを作るまでブラウザ内にとどまります。その後はそのクリップの作成にだけ使われ、7日後に結果とともにツールのストレージから削除されます。ライブラリに保存した結果は、保存している限り残ります。MP4のファイルデータには、DreamBenchでAIを使って作られたことを示すラベルが入りますが、映像の上には何も描かれません。