映像に合わせて仕上がるAI動画吹き替え
声、効果音、BGMを、ひとつの説明文から
多くのAI音声ツールは、映像と無関係にテキストを読み上げるだけで、編集に合わせる作業は人に任されます。Seed Audio 1.5は動画そのものを見ています。誰が話すのか、何を話すのか、部屋の響きはどうか、音楽はどう動くのかを書くだけで、画面の動きに合ったひとつのサウンドトラックが返ってきます。
セリフはあなたが書きます。モデルがそれを演じ、効果音やBGMとともに映像のタイミングへ合わせます。日本語を含む30言語に対応しています。
吹き替えの3つの方法
ByteDanceは3つの動画モードを公開しています。声をどこまでコントロールしたいかで選べます。
動画と説明文
モデルがシーンを読み取り、あなたのテキストをもとに音を付けます。セリフ、声のタイプ、効果音、BGMまで指定できます。
動画、説明文、声の参照
参照クリップを追加すると、セリフはその声で話されます。タイミングは動画が、声質は参照クリップが決めます。
吹き替えが役立つ場面
AI生成の映像
動画生成モデルのクリップは、無音だったり、推測で付けた音だったりしがちです。そのシーンに本当に必要なセリフと空気感を付けられます。
現場の音が悪いとき
ByteDanceは低品質な音声の改善も用途に挙げています。ノイズと格闘せず、シーンをクリーンな音で録り直せます。
ショートドラマやシリーズ作品
同じ参照クリップを使い続ければ、キャラクターの声をエピソードをまたいで統一できます。
広告・プロモーション
ナレーション、商品の音、BGMのアクセントをフレーム単位で合わせ、次の市場向けには言語だけを差し替えられます。
Seed Audio 1.5で動画を吹き替える手順
カット済みの動画を用意する
MP4またはMOV、4〜360秒、480p〜1080p、200 MBまで。吹き替えは最終編集版で行ってください。カットが変われば、タイミングも変わります。
聞こえる音を書く
セリフは引用符で囲み、各声の特徴を短く添え、そのあと効果音とBGMを書きます。モデルはセリフを作りません。話させたい内容はすべてプロンプトに入れてください。
必要な箇所だけタイミングを固定する
カットに合わせたいセリフや効果音には、[2.0s:6.5s] のようなタイムスタンプを使います。それ以外はモデルに任せます。
必要なら声の参照を追加する
2〜30秒のクリップを最大6本まで。キャラクターが話すたびに、同じクリップを使ってください。
プロンプトの例
ByteDanceのプロンプトガイドでは、聞こえる音、その響き、入れたくない音を書くよう勧めています。モデルは英語の指示に最もよく従うため、プロンプトは英語のままです。
雨の通りにいる2人
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
話者ごとに、セリフの前に声の特徴を一行と感情を添えています。
タイミングを正確に合わせる商品ショット
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
タイムスタンプにより、ふたが開くフレームにクリック音がぴたりと合います。
始める前に
- モデルは台本を書きません。プロンプトに説明のない動画には、想定されたセリフは付きません。
- 生成するのは音声のみです。画面上の口の動きは変わらないため、セリフはロングショット、後ろ姿、ナレーション、アニメーションで特に効果的です。
- 1回のリクエストで扱えるのは最大6分の音声です。長い作品はシーンごとに吹き替えてください。
- 声の参照は、話者本人の許可がある場合にのみ使用してください。
AI動画吹き替えのよくある質問
AI動画吹き替えとは何ですか？
AIで動画のサウンドトラックを生成することです。セリフ、ナレーション、効果音、BGMを、画面の動きに合わせて作ります。Seed Audio 1.5では、音の内容を文章で説明すると、モデルがそれをまとめて生成します。
Seed Audio 1.5はセリフも書いてくれますか？
いいえ。ByteDanceは、自動で吹き替えるものではないと明言しています。セリフと音の説明はあなたが用意し、モデルがそれを演じてタイミングを合わせます。
特定の声で吹き替えできますか？
はい。2〜30秒の参照クリップを追加すると、セリフはその声で話されます。タイミングは動画に従います。1回のリクエストで最大6本の参照クリップを使えます。
英語以外の言語でも吹き替えできますか？
はい。Seed Audio 1.5は30言語に対応しており、日本語、韓国語からポーランド語、トルコ語、ヒンディー語まで話せます。
吹き替えと動画翻訳はどう違いますか？
吹き替えは、あなたの説明文から新しいサウンドトラックを作ります。動画翻訳は、英語または中国語で既に入っている音声を、同じ声のまま別の言語で話し直します。