Seed Audio 1.5:動画を同じ声で翻訳・吹き替え
声・効果音・音楽をひとつのモデルで。動画の内容に合わせて生成します
Seed Audio 1.5は、ByteDanceの新しい音声モデルです。動画を読み込んで内容を聞き取り、新しいサウンドトラックを書き出します。同じナレーターが日本語で語る翻訳版、映像に合わせた吹き替え、声・音楽・効果音を別々のトラックに分けた出力など、用途はさまざまです。私たちはアーリーアクセスで、9分のアニメーション映画を12言語に翻訳してみました。何ができて、どこでつまずいたのか、同じ結果を得るにはどうすればよいかをご紹介します。
Doitongは独立したプラットフォームであり、ByteDanceとは提携していません。
検証:1本の映画を12言語に、同じナレーターで
英語ナレーションの9分間のアニメーション歴史映画「The Last Ordinary Day in Pompeii」を、言語ごとに1回ずつSeed Audio 1.5の動画翻訳にかけました。動画を再生し、設定 → 音声トラックを開くと、英語のオリジナルと12の翻訳版を切り替えられます。日本語で聴きたい場合は、設定 → 音声トラックから日本語を選んでください。
この動画の音声トラック:英語(オリジナル)、ロシア語、ドイツ語、フランス語、スペイン語(スペイン)、イタリア語、日本語、韓国語、オランダ語、スウェーデン語、デンマーク語、ノルウェー語、フィンランド語。
- 映画の長さ
- 9:00
- 言語数
- 12
- 1リクエストあたりの時間
- 2.6〜3.3分
- 元の長さとの差
- 0.03秒未満
テストの進め方
上の数字はプレスリリースではなく、私たち自身のログによるものです。同じテストを再現したい場合は、次の3点が重要です。
ポーズで分割する
1回のリクエストで扱えるのは4〜360秒の動画です。そこで9分の映画を、自然なポーズの位置で4:43と4:17の2パートに分けて投入しました。12言語なので全部で24リクエスト、それぞれ157〜200秒で結果が返ってきました。
長さは崩れなかった
翻訳された各パートは、どれも元と同じ長さで返ってきました。パート1は元の283.29秒に対して283.26秒、パート2は256.83秒に対して256.83秒で、どの言語でも同じ結果でした。新しいナレーションは、タイミングを調整し直さなくても映像にそのまま合いました。
声だけを渡した
モデルには音楽なしのナレーションだけを渡し、BGMと効果音は後から自分たちでミックスし直しました。音楽や効果音を残したまま翻訳できるのはモデルの公式機能ですが、今回のテストはその機能には頼っていません。
Seed Audio 1.5でできること
バージョン1.5は、動画を入力として受け付ける初めてのSeed Audioモデルです。この変更ひとつで、以下の用途のほとんどが可能になります。
声をクローン
2〜30秒の参照クリップを最大6本使って声質を指定します。参照音声と動画を組み合わせれば、その声で吹き替えが話されます。
歌詞付きの曲を作成
テキストの指示から最長6分の音楽を生成し、英語、中国語、日本語、韓国語、広東語の歌詞を歌わせることができます。
Seed Audio 1.5の制限事項
ByteDanceのアーリーアクセス向け連携ガイドに記載されている制限です。動画をカットする前にご確認ください。
| 入力 | 制限 |
|---|---|
| 動画の長さ | 1リクエストあたり4〜360秒 |
| 動画形式 | MP4、MOV |
| 動画の解像度 | 480p、720p、1080p |
| 動画のファイルサイズ | 最大200 MB |
| 声の参照クリップ | 最大6本、各2〜30秒、合計180秒 |
| ステム分離用の音声 | 1ファイル、2〜360秒、最大90 MB、WAVまたはMP3 |
| 出力 | 値 |
|---|---|
| 1リクエストあたりの最長音声 | 6分 |
| ステムトラック数 | 最大6 |
| 形式 | WAV(デフォルト)、MP3、PCM、OGG Opus |
| デフォルトのサンプルレート | 44.1 kHz |
| 音声の対応言語数 | 30 |
| 動画翻訳の元言語 | 英語または中国語、もしくは自動検出 |
出典:ByteDance Seed Audio 1.5 アーリーアクセス連携ガイド(2026年10月)。制限は正式リリース後に変更される場合があります。
30言語に対応
Seed Audio 1.5は以下の言語を話せます。動画翻訳は、英語または中国語からこれらのどの言語へも可能です。
楽曲の歌詞に対応しているのは、英語、中国語、日本語、韓国語、広東語の一部の言語のみです。
効果的なプロンプト例
ByteDanceのプロンプトガイドでは、3つのレベルが紹介されています。単純な説明、出来事の順序を決める台本、秒単位で指定するタイムラインです。まずは単純な説明から始め、タイミングが重要な箇所にだけタイムスタンプを加えましょう。プロンプトは、モデルが英語の指示に最もよく従うため、英語のままにしています。
シンプルなナレーション
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
最初に制約、次に声、最後に正確なセリフの順で書きます。入れてほしくないものを伝えることは、入れてほしいものを伝えるのと同じくらい重要です。
タイミングを指定したシーン
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
タイムスタンプで各音をタイムライン上に配置するため、すでに編集済みのカットに音を合わせられます。
注意点
テストで実際に遭遇した点と、ドキュメントに明記されている点です。
- 固有名詞や珍しい単語は、テイクごとにぶれることがあります。1666年のロンドンを舞台にした2本目のテスト映画のロシア語版では、テムズ川の渡し舟を指す古い単語が誤って出力され、登場人物の1人の名前も形が変わってしまいました。動画翻訳では用語集を指定できるので、実行前に名前を登録しておきましょう。
- 吹き替えには説明が必要です。Seed Audio 1.5は自分でセリフを書くことはしません。何が話され、何が聞こえるかを指示してください。
- 生成されるのは音であり、口の動きではありません。翻訳された音声は元のタイミングを保ちますが、画面上の口元は描き直されません。
- 1回のリクエストで扱えるのは最長6分です。それより長い動画は分割が必要で、文の途中で切ると継ぎ目が聞こえてしまうため、ポーズの位置で切りましょう。
- 動画翻訳は英語または中国語が元言語です。それ以外の言語の動画は直接翻訳できません。
- クローンするのは、使用する権利のある声だけにしてください。
Seed Audio 1.5のよくある質問
Seed Audio 1.5とは何ですか?
Seed Audio 1.5は、ByteDanceが2026年10月28日にリリースした音声生成モデルです。音声、効果音、音楽を一度の処理で生成します。Seed Audioシリーズで初めて動画を入力として受け付けるバージョンで、これにより動画の吹き替えや同じ声での動画翻訳が可能になりました。
Seed Audio 1.5は動画を同じ声で翻訳できますか?
はい。動画翻訳では、話者の声の特徴を保ったまま別の言語でセリフを録り直し、元の効果音や音楽も残します。私たちのテストでは、9分の英語ナレーションを12言語に翻訳し、どれも元と同じ長さで返ってきました。
Seed Audio 1.5は何語に対応していますか?
音声は30言語に対応しています。英語、中国語、日本語、韓国語、スペイン語(スペイン・メキシコ)、ポルトガル語(ブラジル・ポルトガル)、ドイツ語、フランス語、ロシア語、アラビア語、ヒンディー語などが含まれます。動画翻訳は、英語または中国語から30言語のどれへも可能で、日本語への翻訳にも対応しています。
動画は何分まで扱えますか?
1回のリクエストで扱えるのは、4〜360秒、最大200 MB、480p・720p・1080pの動画です。それより長い映画は、9分のポンペイの映画で行ったように、ポーズの位置で分割してパートごとに翻訳してください。
翻訳にはどのくらい時間がかかりますか?
私たちの実行では、約4分半の各パートで、言語ごとに157〜200秒かかりました。
Seed Audio 1.5でリップシンクはできますか?
いいえ。生成するのは音声のみです。翻訳された音声は元のタイミングに合わせられますが、口の動きを含む映像そのものは変更されません。
ボーカル、音楽、効果音を分離できますか?
はい。最長6分の音声ファイルを渡すと、声・効果音・音楽が別々のトラック(最大6つ)で返ってきます。
Seed Audio 1.0から何が変わりましたか?
Seed Audio 1.5では動画入力が加わり、動画の吹き替えと動画翻訳が可能になりました。さらにステム分離、最長6分の音楽生成、最大6本の声の参照クリップ、1リクエストあたり最長6分の音声出力、30言語への対応も追加されています。
Seed Audio 1.5とSeed Audio 2.0は同じものですか?
一部のサイトでは、近日公開予定のこのモデルをSeed Audio 2.0として紹介しています。ByteDanceのアーリーアクセス向けドキュメントではSeed Audio 1.5と呼ばれており、当サイトでもその名称を使っています。
DoitongはByteDanceと提携していますか?
いいえ。Doitongは独立したAI動画プラットフォームです。Seed Audio 1.5にはアーリーアクセスで触れる機会があり、ここでは私たち自身の結果を紹介しています。