AI動画のネイティブオーディオとは？

ネイティブオーディオを持つモデルは、サウンドトラック付きのクリップで学習しています。そのため、ドアはバタンと閉まり、混雑した通りはざわめき、唇は話す言葉に合わせて動くことを学びます。生成時には、フレームと音を一緒に作り、どちらも同じプロンプトに導かれ、同じタイムラインに置かれるので、それぞれの音はその原因となるフレームで鳴り始めます。

昔からの方法で今も一般的なのは、まず無音のクリップを作り、あとから音を付けるやり方です。音声合成モデルで作った声、クリップを見て音を作るモデルの効果音、編集ソフトで選んだ音楽。各ステップは別々なので、それぞれを手作業か別のモデルで映像に合わせる必要があります。GoogleはVeo 3.1についてすべての音声をネイティブに生成すると説明し、ByteDanceはSeedance 2.5を音声と映像の同時生成モデルと呼んでいます。

その裏側：互いに聞き合う2つのストリーム

公開されている同時生成モデルは、映像用と音声用の2つの生成器を並べて動かし、各ステップで情報をやり取りさせます。MM-Diffusion（2022年）は初期の設計で、2つのサブネットワークがノイズから、対応するクリップとサウンドトラックを一緒に作ります。Ovi（2025年）は2つのTransformerのタワーをブロックごとに結合し、タイミングと意味を共有します。著者らによると、これにより別の位置合わせの工程なしで同期が得られます。

LTX-2.3の開発元であるLightricksのLTX-2の論文（2026年）は、同じ考え方を大規模に示しています。14B（140億）パラメータの映像ストリームと5B（50億）パラメータの音声ストリームを双方向のアテンションで結び、音声、背景音、フォーリーを扱い、重みも公開されています。もう1つのやり方、映像のあとに音を作る方法も研究が続いています。MMAudioは完成した動画（テキストは任意）を受け取り、フレーム単位で合った音を生成します。

クリップのサウンドトラックは層でできており、欲しい層をそれぞれ名指しすると、プロンプトがうまく働きます。GoogleのVeo 3.1向けのガイダンスは、音声が必要かどうかをはっきり書き、音声は独立した文で説明するというものです。同社のプロンプトガイドでは、効果音に「SFX:」、背景音に「Ambient noise:」というラベルを付けています。

動画モデルがいちばん安定して作れるのは、環境音と効果音です。場所の音は長く続き、多少のずれは目立ちません。効果音は1つのフレームに合えば済みます。いちばん難しいのはセリフの層です。すべての音節を口の動きに合わせる必要があるからです。

ネイティブオーディオは、動画に音を付けるいくつかの方法の1つです。

リップシンクとの違いは順序です。リップシンクは声から始めて、それに合わせて映像を変えます。ネイティブオーディオは、プロンプトの言葉から声と動く口を同時に作るので、どちらかをもう一方に合わせることはありません。

セリフは録音するのではなく、プロンプトに書き込みます。この30秒のテイクは、DreamBenchでSeedance 2.5を使い、サウンドをオンにして作りました。指示文は英語で、料理人のセリフ1行だけが日本語です。日本語の文字で引用符に入れ、意味を横に添えています。

• セリフは引用符で囲み、話す人物のすぐあとに置きます。そうすれば、声が画面上の誰かのものになります。
• 話し方を書きます。静かに、息を切らして、笑いながら。話し方もセリフの一部です。
• 指示文と違う言語で話させるなら、その言語を明記し、セリフをその言語で書きます。
• 短くします。8秒のクリップに収まるのは短い文1〜2つで、スピーチは入りません。
• 話すのは一度に1人。2人が同時に話すと、声が入れ替わったり、口の動きがおかしくなったりします。

Googleのモデルリファレンスでは、Veo 3.1のプロンプト言語として英語が記載されています。ほかの言語のセリフは、頼る前にそのモデルで試してみてください。

言葉のない音にも演出が必要です。Veo 3.1のこのクリップでは、合図に合わせて一度だけ変わる音を指定しています。指示文の最後は「Muffled underwater ambience, then one clear breath（水中のこもった環境音、そのあとにはっきりした息づかいが1つ）」で、カメが水面に顔を出した瞬間に息づかいが入ります。

• 効果音は、同じ文の中で動作と結び付けます。最後に音を並べるより、「彼女が出ていくと同時にドアがバタンと閉まる」と書くほうがうまく入ります。
• 環境音は、その場所ならではの素材として書きます。屋上を吹き抜ける風、カフェのざわめき、2本先の通りの車の音。
• 音の終わり方を書きます。カットで止まるのか、続くのか、フェードアウトするのか。

• リップシンクのずれ：口と言葉は一緒に始まっても、長いセリフの間に少しずつずれていったり、誰も話していないのに口が動いたりします。
• 不明瞭な発話：言葉が不明瞭になったり、存在しない言葉になったり、順番が入れ替わったりします。長いセリフや早口で起きやすくなります。GoogleはVeoについて、支離滅裂な発話をなくす取り組みを続けていると述べており、ガイドでは音声機能を実験的で、改善を続けているものとしています。
• 話し手の取り違え：フレームに2〜3人いると、セリフが別の人の口から出たり、余分な声が入ったりします。
• クリップごとに変わる声：各クリップは別々に作られるので、2つのプロンプトで違う説明をしたキャラクターは、2人の別人のように聞こえることがあります。キャラクターの一貫性をご覧ください。
• カットのたびに止まる音楽：1つのクリップ内で作った劇伴はクリップの終わりで終わり、次のクリップでは別の劇伴が始まります。
• 保証できない音楽：生成されたクリップには、そのメロディーが既存の録音に似ているかどうかを知る手がかりがありません。商用で公開するものには、ライセンスがはっきりした曲を使ってください。
• 音量の段差：各クリップはモデルが決めた音量で出てくるので、2つのクリップのカットで急に大きくなったり小さくなったりすることがあります。公開前に編集ソフトで音量をそろえてください。

声と同意

生成された声は、実在の人物の声に似ることがあります。名前を挙げた人物の声をプロンプトで求めたり、実在の人物に本人の同意なくセリフを言わせたりしないでください。正確にその声が必要なら、許可を得て録音してください。

現在の動画モデルの多くはサウンドを生成します。DreamBenchには、常にサウンドが付くモデルと、オン・オフを切り替えられるモデルがあり、下の表は作成画面の設定そのものから読み取っています。

Veo 3.1、Kling 4.0、Wan 3.0、Grok Imagine 1.5、MiniMax H3、HappyHorse 1.1はサウンドが常にオンで、開発元はオフにする方法を提供していません。Seedance 2.5、Seedance 2.0、Kling 3.0、Wan 2.7、LTX-2.3には切り替えスイッチがあります。Vidu Q2のサウンドはBGMだけで、DreamBenchの映像ではオフにしています。

サウンドをオフにして料金が下がるのはKling 3.0だけです。提供元が無音のクリップを安く請求するためです。ほかのモデルでは、ByteDanceが音声と映像の同時生成モデルと説明するSeedance 2.0も含めて、スイッチで変わるのは聞こえる音で、クレジットは変わりません。各モデルの長さと設定は、モデル一覧の各モデルのページに記載しています。

DreamBenchでは映像を説明すると、DreamBenchがサウンドも含めて各クリップのプロンプトを書きます。サウンド付きの各クリップには、専用のサウンドの行が入ります。その場所の環境音、話し手それぞれの声、話すセリフの数、誰が話すか、指示文で言語を指定した場合はその言語、そしてカットで音がどう終わるか。

• キャラクターの声は一度だけ決め、そのキャラクターが話すすべてのクリップに一字一句同じに書き込みます。声を毎回違う言葉で説明すると、違う声になってしまうからです。
• 映像の各クリップには、それぞれの音と声が入りますが、音楽は入りません。各クリップは別々にレンダリングされるので、クリップ内で作った劇伴はカットでぷつりと止まってしまうからです。
• 「サウンド」スイッチは、作成画面のモデルの横にあります。サウンドが常にオンのモデルでは、オンと表示され、オフにはできません。

サウンド付きのプロンプトを自分で1つ書くなら、AI動画プロンプト生成にサウンドの項目があり、環境音だけから引用符で囲んだセリフ1行まで書けます。Veo 3.1プロンプト生成は、サウンドが常にオンのモデル向けに書きます。詳しくはAI動画生成、テキストから動画生成、マルチショット動画をご覧ください。