モーショントランスファーとは？

ディープフェイクになることはあります。アニメのキャラクターや自分のキャラクターを動かすのは違いますが、実在の人物がしていないことをしているように、本人の同意なしに見せるのはディープフェイクで、お住まいの地域では違法になる場合があります。顔の入れ替えではありません。顔の入れ替えは動画を保ったまま顔の持ち主を変えますが、モーショントランスファーは動きだけを保ち、顔も体も含めて新しいキャラクターを生成します。

動画のダンスをキャラクターに踊らせるには、1人が全身で写っていて、カメラが固定された4〜30秒のクリップを使います。Morphで「動きをまねる」を選び、クリップをアップロードし、画像でキャラクターをタグ付けします。Morphは元の動画のタイミングを保ったまま、そのキャラクターが踊る映像を生成します。

いいえ。AIのモーショントランスファーは、動画と、画像または説明があれば使えます。リグが必要なのは、3Dアニメーション用のモーションキャプチャです。

全身がフレームに収まった1人の人物が、ほぼ固定のカメラの前で適度な速さで動くもの。ダンス、歩き、ジェスチャーなどです。速い回転、交差した手足、手、2人が触れ合う動きは、いちばん不安定です。手は小さく速いためポーズモデルが読み違えやすく、動画モデルがぼかしたり指を増やしたりします。交差したり触れ合ったりする2人の演者はポーズの読み取りを混乱させるので、1人ずつ転写してください。

技術的にはほとんどのクリップが使えますが、自分で撮影したか、権利を持っている演技だけを使ってください。Morphで使えるクリップは4〜30秒です。

モーショントランスファーはキャラクターの動き方を決め、キャラクターの一貫性は見た目を保ちます。良い結果には両方が必要です。正しい動きと、最初のフレームから最後まで変わらない顔と服です。

無地の背景の前で、全身がフレームに収まった1人の人物。光は安定していて、カメラはあまり動かないもの。はっきりしていて速すぎない動きが、最もきれいに転写されます。

たいていはそうですが、常にではありません。動きの節目とポーズは引き継がれますが、生成ツールは上の格闘シーンの編集でカメラを低く近くに置いたように、構図を変えることがあります。重要なら、カメラは撮影時のまま保つよう指示してください。

はい、スケルトンを当てられる手足のある体ならできます。上の格闘シーンは3匹の猫が演じています。ヘビや車にはポーズを受け取る関節がないので、結果がずれていきます。

トライアルを用意しているツールもあります。DreamBenchでは無料アカウントを作成してプランを選び、Morphの編集1回ごとにプランのクレジットを使います。

はい。DreamBenchで動画のダンスを自分に踊らせるには、Morphで「実在の人物」をオンにし、動きを演じる人物の写真をちょうど1枚追加して、本人か許可を得た人物であることのチェックボックスにチェックを入れます。写真は、その背景も含めて、顔を受け付ける処理レーンでクリップの動きに合わせて動かされます。初期設定では、Morphは実在の顔を拒否します。使うのは自分の顔か、許可を得た顔だけにしてください。

DreamBenchのモーショントランスファーでは、元の動画のサウンドが残ります。最後に、「サウンドを追加中」と表示される工程で、クリップ自体のサウンドが新しい動画の下に戻されるので、ダンスは元の音楽に乗ったままで、セリフも話された場所でそのまま聞こえます。「クリップのサウンドを残す」のスイッチは標準でオンです。エディターで自分の音源を加えたい場合はオフにしてください。投稿する権利のある音楽だけを使ってください。

ダンスの途中でキャラクターの顔が変わるのは、新しいキャラクターのすべてのフレームが生成され、骨格が決めるのは体の位置だけだからです。顔はフレームごとに元の画像とモデルの記憶から描き直され、速い回転、顔を横切る手、長いクリップはずれる機会を増やします。キャラクターの画像は明るくはっきりしたもの1枚にし、クリップの中で動きがゆっくりした部分を選び、編集する範囲を短くして、気に入ったものをHDでレンダリングしてください。