AIリップシンクとは？

話す音には、それぞれ口の形があります。p、b、mでは唇を閉じ、f、vでは上の歯が下唇に触れ、ooでは唇を丸めます。リップシンクは、それぞれの音が聞こえる瞬間にその形を画面に出し、本物の口のように次の形へなめらかにつなぐことで成り立っています。

そこに至る方法は2つあります。サウンド付きの動画モデルなら、セリフを含むプロンプトから顔と声を一度に作れます。生成前には何も存在しないので、口と言葉は一緒に生み出されます。もう1つは、リップシンクモデルが既存の動画と音声トラックを受け取り、口元だけを描き直して新しい言葉を話させる方法です。

音素と口形素（ビゼーム）

音素とは話し言葉の音のことで、口形素（ビゼーム）とは、その音が顔の上でどう見えるかです。Microsoftの音声サービスのドキュメントでは、口形素は「音素を視覚的に表したもの」とされ、1対1には対応しません。たとえばsとzのように、話し手の顔の上では同じに見える音がいくつもあります。Microsoftは音声サービスで22の口形素を使い、そのセットは言語によって異なると記しています。ある言語で自然に見えるリップシンクが、別の言語では甘く見える理由の1つです。

アバターやゲームの制作工程では、2Dや3Dの顔を口形素で直接動かします。音声エンジンが、それぞれの口の形とその開始時刻を指定するのです。動画モデルは口形素を列挙しません。人が話している映像から、音と口の関係を学びます。

音声駆動のリップシンクモデル

音声駆動のリップシンクは、手元にある顔から始めます。よく知られた研究例がWav2Lip（2020年）です。「任意の人物が話している顔の動画」を目標の音声クリップに合わせてリップシンクさせ、口と音が一致しているかを判定するネットワークである、強力なリップシンク識別器から学習します。それ以前のOxfordの論文、ChungとZissermanのOut of time（2016年）は、動画の中の口の動きと音声の同期を測るネットワークを学習させました。こうしたモデルが学習に使う判定役です。

モデルの開発元は今、同じ方法を機能として提供しています。Klingのリップシンクは、顔全体が映った動画と、アップロードした音声ファイルかテキストから作った声を受け取り、音声が動画より長ければ切り詰めます。AlibabaのVideoRetalkは動画と音声ファイルを受け取り、正面を向いたはっきりした顔を求めます。どちらも、フレームのほかの部分はそのまま残し、顔の下半分を描き直します。

音声と映像の同時生成モデル

新しい方法では、音と映像を同じ生成の中で作ります。GoogleはVeo 3を、効果音、環境音、セリフをネイティブに生成するモデルとして発表しました。Kling 3.0は、キャラクター単位のリップシンクと、1つのシーンで複数のキャラクターにセリフを割り当てる機能を備えたモデルとして紹介されています。Ovi（2025年）などの研究モデルは、この考え方をオープンに示しています。両方を1つの生成プロセスで扱い、つながった2つのネットワークがタイミングと意味をやり取りするので、あとから音を位置合わせする必要がありません。音の面について詳しくはネイティブオーディオをご覧ください。

どちらの方法が必要かは、何から始めるかで決まります。まだ何もないなら、顔と声を一緒に生成します。残す必要のある映像や声がすでにあるなら、音声駆動のツールが必要です。

これらの呼び名は、検索結果でもツールでも重なり合いますが、それぞれ別の作業を指します。共通しているのはリップシンクの部分、つまり話す言葉に合った口です。

この30秒のテイクは、下に示した指示文からDreamBenchで作ったもので、Seedance 2.5をサウンド付きで使っています。料理人のセリフは指示文の中に日本語で、引用符に入れて書かれ、誰がどう話すかも添えています。「says quietly in Japanese（日本語で静かに言う）」。何も録音していません。声、言葉、口はすべて一緒に生成されました。

セリフの置き方に注目してください。間を置いたあと、料理人が静止して光のほうを向いている間に話しています。話すセリフがいちばんうまく入るのは、ほかに速い動きをしていない顔です。

AIキャラクターを話させるには、プロンプトにセリフを引用符で囲んで書き、誰が話すかを明記します。サウンド付きのモデルは、引用符で囲んだ行をセリフとして読みます。引用符のない行は、説明として扱われることがよくあります。おすすめの順番は次のとおりです。

• 短くします。クリップ1秒あたり約2語が無理のないペースなので、8秒のショットに入るのは1〜2文です。
• 話すのは一度に1人。各セリフを名前のある人物に割り当て、ほかの人は黙って聞いていると書きます。
• 話し手はカメラに対して正面か斜めを向かせ、顔に光を当てます。
• セリフを話している間は、手、食べ物、カップ、マイクを口元から離しておきます。
• なまりが必要なら、「やわらかなスコットランドなまり」のように言葉で指定します。

AI動画プロンプト生成には、どのモデルにも使えるセリフの選択肢があり、Kling 3.0プロンプト生成は、英語、中国語、日本語、韓国語、スペイン語でリップシンクさせるセリフを書きます。どちらもプロンプトを書くだけで、クリップを作るのはあくまで動画モデルです。

• カメラに向かって話す広告やSNSクリップ。プレゼンターが商品について1行話します。
• 2人のキャラクターがセリフを掛け合う、ショートドラマやコント。
• マスコットからアニメの動物まで、話すアニメーションやスタイライズしたキャラクター。
• 同じシーンを複数の言語で。それぞれのバージョンを、その言語のセリフで生成します。

• 早口：フレームで表せるより速く音が続くと、口がぼやけたり、形が飛んだりします。セリフをゆっくりにするか、言葉を削ってください。
• 横顔：どちらの方法も、正面か斜めから見た顔がいちばん得意です。VideoRetalkは、はっきりと正面を向いた顔を求めています。横顔では口の半分が隠れ、誤りが目立ちます。
• あごひげ、口ひげ、口元の手は唇の輪郭を隠すので、モデルが追えるものが減り、想像で補う部分が増えます。
• 歯と舌：ぼやけたり、くっついたり、フレームごとに変わったりします。特にクローズアップの開いた母音で起きやすくなります。
• 複数の話し手：声が別の顔から出たり、聞き手の唇まで動いたりします。話し手それぞれに名前を付け、各セリフを1人に割り当ててください。
• 言語：モデルがいちばんうまくリップシンクできるのは、最も多く学習した言語です。対応言語を公開している開発元もあり、それ以外の言語のセリフは不明瞭になったり、別の言語で出てきたりすることがあります。

AI動画の声が口と合わないのはなぜですか？たいていは、セリフがクリップに対して長すぎるか速すぎる、話し手が横を向いている、またはプロンプトに誰が話すかが書かれていない、のどれかです。それを直して、もう一度生成してください。Google自身も、短いセリフでの発話と音声の同期を、Veoの改善中の課題として挙げています。

音声駆動のツールを使えば、撮影されたどんな顔にも、どんな言葉でも言わせられます。多くのディープフェイクの裏にあるのと同じ技術であり、だからこそ同意が最優先です。実在の人物が何かを言っているように見せるのは、十分な説明を受けたうえでの本人の許可がある場合だけにし、人をだますため、本人が推奨していない商品を推奨させるため、著名人に言葉を言わせるためには決して使わないでください。

DreamBenchの利用規約では、実在の人物の肖像や声をAIで処理・描写する前に、十分な説明を受けたうえでの許可を求めており、無許可の実在人物の描写、人をだますなりすまし、虚偽の推奨を禁止しています。DreamBenchのSeedanceは、実在の人物の顔が写った参照画像をすべて拒否します。

実在の人物が言っていないことを言っているように見えるクリップは、公開するすべての場所でAIで作ったものと明記してください。

DreamBenchでは、リップシンクは動画と一緒に生成されます。映像を説明し、指示文に話す人物がいれば、DreamBenchは各セリフをそのシーンのプロンプトに引用符で囲んで書き込み、誰が話すかを明記し、ほかの全員の口は閉じたままにして、各話し手の声をすべてのクリップで同じように説明します。そのうえで、サウンド付きのモデルが顔と声を1回の処理で作ります。各クリップは別々に生成されるので、声がシーンごとに少し変わることはあります。キャラクターの一貫性をご覧ください。

これに向いたモデルもあります。HappyHorse 1.1はカメラに向かって話す人物向けの選択肢で、Kling 3.0は1つのシーンで複数のキャラクターにセリフを割り当て、Wan 3.0はセリフのあるシーンを作ります。ただし、サウンドがいつも発話とは限りません。DreamBenchでは、Wan 2.7は音楽や効果音を加え、Vidu Q2はBGMだけを加えます。

DreamBenchでできないこと：音声ファイルのアップロードはないので、自分の録音にクリップをリップシンクさせることはできず、既存の動画を別の言語に吹き替えることもできません。Morphはアップロードした動画の中身を編集し、オフにしない限り元の音をそのまま残します。新しい音声トラックは受け付けません。セリフがうまくいかなかったら、そのシーンだけを作り直してください。各モデルのサウンドに何が含まれるかは、モデル一覧の各モデルのページに記載しています。