AI動画編集
AI動画編集とは?
AI動画編集とは、AIを使って動画を変えることです。補助的なツールは、無音部分のカット、字幕付け、構図変更といった通常の編集を速くします。このページの主題である生成型の編集は、フレームの中身を変えます。実写クリップの中の物を差し替え、削除、追加、スタイル変更しながら、タイミングとカメラはそのまま保ちます。
執筆:DreamBenchチーム。更新。
AI動画編集の概要
概要
- 入力するもの
- 動画と指示。多くの場合、登場させたいものの画像も。
- 出力されるもの
- 同じクリップ。指定した部分だけが変わり、残りはそのまま。
- 主な編集
- 差し替え、追加、削除、スタイル変更、そして新しいキャラクターへの動きの転写。
- 保つもの
- タイミング、カメラの動き、そして変更しない限り、人物と場所。
- まだ難しいこと
- 速い動き、物の前を別の物が横切る場面、髪や煙、長いクリップ。
差し替える
1人の人物、1つの物、1匹の生き物が置き換わり、動きはそのまま。
追加する
新しい物やキャラクターがシーンに加わり、シーンとともに動きます。
削除する
物は消え、その後ろの背景が埋められます。
見た目を変える
スタイル、時代、ライティングが変わり、形と動きはそのまま。
動きをまねる
あるクリップの動きで、別のキャラクターを動かします。
どの編集を選べばいいですか?
人や物を差し替える: 差し替えです。人物の動きとタイミングは保たれ、その場所に、画像や説明をもとに新しいキャラクターや物が生成されます。Morphで「差し替える」を選び、差し替え先を画像でタグ付けしてください。
シーンに新しいものを加える: 追加です。元の場面と動きはそのまま残り、新しい物やキャラクターがその中に生成されます。Morphで「追加する」を選び、どこに置くかを伝えてください。
何かを消す: 削除、つまり動画インペインティングです。物が消え、その後ろの背景がすべてのフレームで埋められます。Morphで「削除する」を選び、その影や映り込みも挙げてください。
見た目全体を変える: スタイル変更です。すべてのフレームの輪郭、奥行き、動きは保たれ、表面がアニメからクレイアニメまで、指定したスタイルで塗り直されます。Morphで「見た目を変える」を選んでください。
別のキャラクターに同じ動きをさせる: モーショントランスファー。クリップからポーズとタイミングを読み取り、新しいキャラクターがそれを演じます。Morphで「動きをまねる」を選び、画像でキャラクターをタグ付けしてください。
AI動画編集の2つの種類
日常の編集アプリに入っているAIの多くは、編集者を補助するものです。カット位置を見つけ、無音部分を削り、字幕を書き、スマホ向けにクリップをリフレーミングします。撮影した素材はそのままで、その上で作業します。生成AIによる編集は、素材そのものを変えます。
| 役割 | 新しいピクセルを作るか | 作例 | |
|---|---|---|---|
| 補助型 | いつもの編集を速くする | いいえ | 無音部分や間のカット、字幕、リフレーミング、良いテイクの選び出し |
| 生成型 | フレームの中身が変わる | 対応 | 人物の差し替え、物の削除、シーンのスタイル変更、動きの転写 |
DreamBenchが対応しているのは生成型のほうで、Morphで行います。このページの以降の内容は、その生成型についてです。
実際のAI動画編集2例のビフォーアフター
どちらも実際のクリップからMorphで作りました。それぞれの線をドラッグして、元の動画と編集後を比べてください。
オリジナル
Morph版背景を @livingroom に変えて @floorplan の配置どおりにし、3匹の猫を @yickshuncat、@oreo、@mango に差し替えてください。
オリジナル
Morph版AI動画編集と従来の編集の違い
従来の編集は、撮影された映像を並べ替えるものです。カット、トリミング、順序の入れ替え、カラーグレーディング、タイトルの追加。VFXはフレーム内のものを変えますが、マスクやトラッキングを使い、手作業でフレームごとに行います。AI動画編集ではモデルに変更を頼み、モデルがすべてのフレームの新しいピクセルを一度に生成します。
| 従来の編集 | 手作業のVFX | AI動画編集 | |
|---|---|---|---|
| 変わるもの | 順序、長さ、色、サウンド | フレーム内のあらゆるもの | 言葉で説明できるあらゆるもの |
| 仕組み | 既存のフレームをカット | マスク、トラッキング、合成をフレームごとに | モデルが新しいピクセルを生成 |
| 1ショットあたりの時間 | 数分 | 数時間〜数日 | 数分+やり直し |
| コントロール | 正確 | 正確(技術があれば) | おおまか:言葉と画像で方向づける |
AI動画編集の仕組み
AI動画編集は4段階で行われます。モデルが指定した領域を見つけ、すべてのフレームでそれを追い、置き換えるものを生成し、フレーム間でぶれないように結果をなじませます。元のクリップの動きを条件として使うので、新しいピクセルは元のピクセルと一緒に動きます。
元の動画
アップロードするクリップ。その動き、タイミング、カメラが土台になります。
領域を見つける
モデルが指定されたものを見つけ、すべてのフレームで追跡します。
変更を生成
その領域だけの新しいピクセル:新しい顔、追加した物、何もない背景。
時間方向になじませる
光、影、動きを合わせ、変更がフレームからフレームへ破綻しないようにします。
編集後の動画
指定しなかった部分は、すべて元どおりに見えるはずです。
領域を見つけて追跡する
セグメンテーションモデルは、1つのフレームで物の輪郭を取り、向きが変わったり一時的に隠れたりしても、残りのフレームでそれを追跡します。MetaのSAM 2は広く使われている例です。髪の毛のようなやわらかな輪郭には、マッティングモデルが、各ピクセルに「はい・いいえ」ではなく透明度の割合を与えます。
マスク
各ピクセルは内か外のどちらか。輪郭のはっきりした物なら十分ですが、髪、煙、モーションブラーではカクカクになります。
マット
各ピクセルが0〜100%の透明度を持つので、ほつれた髪の毛も柔らかさを保ちます。
変更を生成する
何かを消すとき、モデルは、背景が見えていた前後のフレームからピクセルを借りながら、その穴をおそらく後ろにあったもので埋めます。これが動画インペインティングです。差し替えや追加では、言葉や参照画像を手がかりに、その領域の中に新しい被写体を生成します。スタイル変更では、各フレームの輪郭と奥行きを保ったまま、表面を描き直します。
安定させる
難しいのは1枚の良いフレームではなく、互いに一致する良いフレームを1秒に24枚作ることです。編集モデルは元のクリップの動きを条件にするので、新しいピクセルは元のピクセルと一緒に動きます。それがうまくいかないと、ちらつき、滑るように動く差し替えた顔、消したはずの物がゴーストのように戻ってくる現象が見られます。時間的一貫性の破綻です。
AI動画編集の種類
| 変わるもの | 保つもの | 別名 | |
|---|---|---|---|
| 差し替える | 1人の人物、1つの物、1匹の生き物 | 動き、カメラ、それ以外のすべて | キャラクターの差し替え、物の置き換え、顔の入れ替え(フェイススワップ) |
| 追加する | シーンに加わる新しい物やキャラクター | 元のシーンとその動き | 物の追加 |
| 削除する | 物、人物、看板、ブームマイク | その後ろの背景を埋めたもの | 動画インペインティング、不要物除去 |
| 見た目を変える | 見た目:スタイル、時代、季節、光 | 形、構図、動き | 動画のスタイル変換、再レンダリング |
| 動きをまねる | 動く人 | 動きを、一拍ずつそのまま | モーショントランスファー、ポーズ転写 |
演技
人が動いているクリップ。動きの元になります。
動き
フレームごとに読み取ったポーズ:関節とタイミングだけで、見た目の情報はなし。
新しいキャラクター
同じ瞬間に同じポーズで生成された、別のキャラクター。
AI動画の編集指示の書き方
編集の指示は、何を変えるか、何に変えるか、何を残すかを書くと最もうまくいきます。クリップに映っているとおりの呼び方で対象を指定し、モデルが新しく作り出す必要があるものには画像を渡しましょう。
| あいまい | 具体的 | |
|---|---|---|
| スワップ | 猫にして。 | Swap the 3 kittens for @yickshuncat, @oreo and @mango (with a picture of each), keep the dance. |
| 背景 | 部屋を変えて。 | Change the background to @livingroom, laid out as in @floorplan. |
| 外す | きれいにして。 | 彼女の後ろを歩いている赤いジャケットの男性と、その影を消して。 |
| スタイル変更 | かっこよくして。 | クリップ全体を手描きアニメ風に変えて。カメラの動きとタイミングはそのままで。 |
最初の2行は、上の子猫の動画で使ったプロンプトです。@名前は、Morphに渡した画像を指しています。
AI動画編集が使われる場面
- 広告:1つの商品ショットを何パターンも作る、商品を差し替える、季節に合わせてシーンのスタイルを変える。
- SNS動画:流行りのダンスを別のキャラクターが踊る、クリップをアニメ風やクレイアニメ風に変える。
- クリーンアップ:撮り直せないショットから、通行人、ブームマイク、看板を消す。
- プリビジュアライゼーション:スマホで撮った仮映像を、完成作品の見た目に変える。
- ローカライズ:市場ごとに、同じシーンで出演者や商品だけを変える。
AI動画編集がうまくいかない場面
- 速い動きとモーションブラー:モデルが領域を見失い、編集がずれます。
- オクルージョン:被写体の前を何かが横切ると、差し替えた部分が一瞬光ったり裂けたりすることがあります。
- 細かい輪郭:髪、煙、ガラス、水は、背景から分けるのが難しい。
- 変更の大きさ:シーンを丸ごと変えるより、小さな変更のほうが安定します。一度に1つずつ頼みましょう。
- 長さ:編集は短いクリップに対して行います。長い動画は分割して編集します。
AI編集がぼやけたり低解像度に見えたりするのはなぜですか? DreamBenchでは、Morphのプレビューは480pの下書きで、フルレンダリングの料金を払う前に編集が正しいか確認するためのものです。「HDにする」を押すと、1080pでは同じテイクを仕上げ、720pでは新たにレンダリングします。最初からぼやけていたり、手ブレしていたり、強く圧縮されていたクリップは、モデルが追跡できる情報が少ないため、編集のずれが大きくなります。手元でいちばんきれいな書き出しから始めてください。
動画に映る人物を変えると、人をだますことにもなりかねません。同意を得た人だけを編集し、編集したものを実際の映像として見せることは決してせず、投稿先のプラットフォームのルールに従ってください。
DreamBenchで動画を編集する方法
Morphは、4〜30秒のクリップを編集します。動画をアップロードするかテンプレートを選び、登場させたいキャラクターや物を画像でタグ付けして、何をするかを伝えます。差し替える、追加する、削除する、見た目を変える、動きをまねる、のいずれかです。Morphは元の動きとタイミングを保ち、オフにしないかぎりクリップ自体のサウンドも残します。
| 制限 | その意味 | |
|---|---|---|
| クリップ | アップロードしたMP4、MOV、WebM、またはテンプレート。Morphはそのうち4〜30秒の範囲を編集します | 長い動画のうち、編集が必要な部分を選びます。残りは撮影したままで、お使いのエディターでつなぎ直します。 |
| 実在の人物 | 実在の人物を含む編集では、クリップのうち最大15秒。本人か同意した人物であることのチェックボックスにチェックを入れる | 編集は、顔を受け付ける処理レーンでレンダリングされます。初期設定ではMorphは実在の顔を拒否し、拒否された実行に料金はかかりません。 |
| 画像 | 最大4枚、PNG、JPEG、WebP、各10MBまで。文章では@Image1〜@Image4で指す | Morphが新たに作り出す必要があるものそれぞれの画像。上の子猫の編集では、猫たちと部屋です。 |
| 文章 | 最大2000文字。または「動画を編集」か「動きをコピー」を選ぶ | Morphは、どのタスクを指しているかを言葉から読み取ります。「動きをコピーして」のような言葉があると、クリップの動きに基づく新しい動画の作成に切り替わります。 |
| 出力 | 480pのプレビュー、その後「HDにする」で1080pまたは720p | プレビューはそのテイクの下書きです。1080pのレンダリングは同じテイクを仕上げ、720pは新たにレンダリングします。 |
| サウンド | 「クリップのサウンドを残す」、標準でオン | 元の音声は最後に編集結果の下に戻されます。編集ソフトで自分の音声トラックを付けるなら、オフにしてください。 |
よくある質問
AI動画編集は動画から動画生成と同じですか?
ほぼ同じです。動画から動画生成はモデルのモードで、動画を入れると動画が出てきます。AI動画編集は、それを使って行う作業です。差し替え、削除、追加、スタイル変更、動きの転写があります。
AIで動画から物を消せますか?
はい。動画インペインティングは物を消し、背景が見えていたフレームを使って、そこをおそらく後ろにあったもので埋めます。小さな物や安定したショットで最もうまくいきます。
AIで動画を自動編集できますか?
補助的な意味では、AIは動画を自動で編集できます。カット点を見つけ、無音部分を削り、字幕を付け、スマホ向けに構図を変え、結果はあなたが調整します。生成型の編集は別物です。フレームの中で何を変えるか(差し替え、削除、スタイル変更など)を伝えると、モデルがそれを生成します。DreamBenchがMorphで行うのは生成型のほうで、カット編集や字幕はお使いの編集ソフトに任せます。
AIで動画の背景を変えられますか?
はい。生成エディターは被写体とその動きを保ったまま、説明や場所の写真から後ろに新しいシーンを生成します。上の子猫の編集では、部屋の写真をもとに夜の道路をリビングに差し替えています。
AIで動画の中の人物を差し替えられますか?
はい。差し替えは人物の動きとタイミングを保ち、画像か説明からその場所に新しいキャラクターを生成します。写っている実在の人物全員の同意が必要で、ほとんどのプラットフォームは結果にAI生成の表示を求めます。
AIで実写動画をアニメやクレイアニメにできますか?
はい。スタイル変更は各フレームの輪郭、奥行き、動きを保ち、表面を指定したスタイルで塗り直します。カメラの動きとタイミングは撮影時のままです。
AI動画編集でクリップ全体が変わりますか?
本来は変わりません。良い編集は指定したものだけを変え、それ以外はすべて保ちます。実際には細部が多少ずれることもあるので、使う前に元の動画と見比べてください。
AIで編集できるクリップの長さは?
ほとんどの生成型編集モデルが扱うのは、数分ではなく数秒の短いクリップです。Morphでは4〜30秒のクリップを使い、それより長い動画は分割して編集します。
AIは動画編集者の仕事を奪いますか?
判断までは置き換えません。物を消したりカット位置を見つけたりといった時間のかかる作業はAIで速くなりますが、ストーリー、テンポ、何を残すかを決めるのは人です。
動画の顔を入れ替えるのは合法ですか?
国と同意の有無によります。許可なく人の顔を入れ替えると、肖像権、プライバシー、ディープフェイクに関する法律に違反することがあります。また、ほとんどのプラットフォームはAIで変更した動画にラベルを付けることを求めています。YouTubeはクリエイターに、AIで大きく改変または生成したリアルなコンテンツの開示を求め、ラベルを付けます。
AI編集で元の音声は残りますか?
DreamBenchでは、Morphはクリップ自体のサウンドを残します。「クリップのサウンドを残す」のスイッチは標準でオンで、最後に「サウンドを追加中」と表示される工程で、元のサウンドが編集結果の下に戻されます。あとでエディターで自分の音源を加えたい場合はオフにしてください。モーショントランスファーも同じように元のサウンドを残すので、ダンスは元の音楽に乗ったままです。
AI動画編集にはお金がかかりますか?
多くのAI補助つき編集アプリでは、カット編集と字幕が基本プランに含まれています。DreamBenchで生成系の編集をするには、無料アカウントを作成してプランを選び、Morphの各編集はそのクレジットを使います。
AIで編集した動画はどの解像度で出てきますか?
DreamBenchでAI編集した動画は、まず480pのプレビューとして出てきます。頼んだとおりの編集になっているかを確認するための下書きです。そのあと「HDにする」で、同じテイクをそのまま仕上げる1080pか、新たにレンダリングする720pで作ります。どちらにするかはHDにするときに選びます。実在の人物が写ったクリップでは、編集は別の処理経路でレンダリングされ、解像度は選べません。結果はTikTok、リール、ショートにそのまま使えるMP4としてダウンロードできます。
スマホでAIを使って動画を編集できますか?
はい。Morphはスマホのブラウザで使え、インストールするものはありません。スマホから直接MP4、MOV、WebMをアップロードし、カメラロールから画像を追加し、何を変えるかを書いて、結果をダウンロードします。クリップはページを経由せずストレージに直接送られるので、スマホで撮ったサイズのファイルで問題なく、そのうち編集が必要な4〜30秒を選びます。
AI動画編集にはどれくらい時間がかかりますか?
DreamBenchでのAI動画編集には、秒ではなく分の単位の時間がかかります。Morphがクリップを準備して動画サービスに渡し、サービス側では順番待ちになることがあり、その場合は待ち行列の中の位置が表示されます。そして編集をレンダリングし、最後にサウンドを戻します。クリップやあなたの画像を初めてサービスに送るときは、サービス側での確認が入るため、その1回だけ数分余計にかかります。
AIで編集した動画は商用利用できますか?
はい、DreamBenchでは使えます。DreamBenchの利用規約では、Morphで作ったものを、広告、収益化コンテンツ、クライアント向けの仕事を含め、個人目的にも商用目的にも使えます。商用利用のための別のアップグレードはありません。利用規約は結果の著作権を保証するものでも、アップロードに含まれる他人の権利を処理するものでもないので、編集するのは権利を持っている映像、顔、音楽だけにし、映っている実在の人物の同意を得て、プラットフォームが求める場合は結果にラベルを付けてください。
関連ページ
DreamBenchでは
用語
出典
- SAM 2: Segment Anything in Images and VideosarXiv(に確認)
- YouTube ヘルプ:生成AIコンテンツの使用の開示YouTube(に確認)
DreamBenchは独立したプラットフォームで、このページに登場する企業との提携や、それらの企業による推奨はありません。