Seed Audio 1.5: перевод и дубляж видео тем же голосом
Одна модель для голоса, звуковых эффектов и музыки, которая работает прямо по вашему видео
Seed Audio 1.5 — новая аудиомодель ByteDance. Она берёт видео, «слушает» его и пишет новую звуковую дорожку: тот же диктор, но уже по-японски или по-русски; дубляж, который попадает в картинку; или голос, музыка и эффекты, разложенные по отдельным дорожкам. В раннем доступе мы перевели с её помощью 9-минутный анимационный фильм на 12 языков. Рассказываем, что получилось, где модель ошиблась и как добиться такого же результата.
Doitong — независимая платформа, не связанная с ByteDance.
Наш тест: один фильм, 12 языков, один и тот же диктор
Мы взяли «The Last Ordinary Day in Pompeii» — 9-минутный анимационный исторический фильм с английской озвучкой — и прогнали его через перевод видео в Seed Audio 1.5 по одному разу на каждый язык. Запустите видео и откройте Настройки → Звуковая дорожка, чтобы переключаться между английским оригиналом и 12 переводами. Русская дорожка тоже есть.
Звуковые дорожки у этого видео: английская (оригинал), а также русская, немецкая, французская, испанская (Испания), итальянская, японская, корейская, нидерландская, шведская, датская, норвежская и финская.
- Длина фильма
- 9:00
- Языков
- 12
- Время на один запрос
- 2,6–3,3 мин
- Разница в длительности
- < 0,03 с
Как мы проводили тест
Цифры выше взяты из наших собственных логов, а не из пресс-релиза. Если хотите повторить тест, важны три детали.
Режем по паузе
Один запрос принимает видео длиной от 4 до 360 секунд, поэтому 9-минутный фильм мы отправили двумя частями, разрезав его в естественной паузе: 4:43 и 4:17. Двенадцать языков — это 24 запроса, и каждый вернулся за 157–200 секунд.
Длительность сохранилась
Каждая переведённая часть вернулась той же длины, что и оригинал. Первая часть — 283,26 секунды против 283,29 у исходника, вторая — 256,83 против 256,83, и на всех языках цифры совпали. Новая озвучка легла на картинку без перемонтажа.
Мы отправляли только голос
Модели мы подавали озвучку без музыки, а свою музыку и эффекты подмешивали уже после. Сохранение музыки и эффектов внутри перевода — заявленная возможность модели, но в этом тесте мы на неё не опирались.
Что умеет Seed Audio 1.5
Версия 1.5 — первая модель Seed Audio, которая принимает видео. Именно это открывает большинство возможностей ниже.
Перевод видео тем же голосом
С английского или китайского на 30 языков, включая русский. Голос сохраняет характер диктора, а оригинальные эффекты и фоновая музыка остаются на месте — меняется только речь.
Дубляж видео по описанию
Загрузите видео и опишите, что должно звучать: реплики, голоса, эффекты, музыку. Модель создаст звук, который следует за картинкой. Сценарий за вас она не придумает.
Разделение аудио на стемы
Загрузите аудиофайл и получите голоса, эффекты и музыку отдельными дорожками — до шести штук, готовыми к сведению.
Озвучка немого ролика
Попросите атмосферу, шаги, скрип двери, музыкальную подложку и расставьте каждый звук на таймлайне с помощью таймкодов в промпте.
Клонирование голоса
Тембр задают до шести референсных фрагментов по 2–30 секунд. Если добавить референс к видео, дубляж прозвучит этим голосом.
Песни с текстом
Музыка длиной до шести минут по текстовому брифу, с пением на английском, китайском, японском, корейском или кантонском.
Лимиты Seed Audio 1.5
Лимиты из руководства ByteDance по интеграции в раннем доступе. Сверьтесь с ними, прежде чем резать видео.
| Параметр | Лимит |
|---|---|
| Длина видео | 4–360 секунд на запрос |
| Форматы видео | MP4, MOV |
| Разрешение видео | 480p, 720p или 1080p |
| Размер видеофайла | До 200 МБ |
| Референсы голоса | До 6, по 2–30 с, всего 180 с |
| Аудио для разделения на стемы | Один файл, 2–360 с, до 90 МБ, WAV или MP3 |
| Параметр | Значение |
|---|---|
| Максимальная длина аудио на запрос | 6 минут |
| Дорожек при разделении на стемы | До 6 |
| Форматы | WAV (по умолчанию), MP3, PCM, OGG Opus |
| Частота дискретизации по умолчанию | 44,1 кГц |
| Языков для речи | 30 |
| Исходный язык при переводе видео | Английский или китайский, либо определяется автоматически |
Источник: руководство ByteDance по интеграции Seed Audio 1.5 в раннем доступе, октябрь 2026. После релиза лимиты могут измениться.
30 языков
Seed Audio 1.5 говорит на этих языках. Перевод видео идёт с английского или китайского на любой из них.
Текст песен поддерживается на меньшем числе языков: английском, китайском, японском, корейском и кантонском.
Промпты, которые работают
В руководстве ByteDance описано три уровня промптов: простое описание, сценарий с порядком событий и таймлайн с точными секундами. Начните с простого, а таймкоды добавляйте только там, где важен тайминг. Сами промпты оставляем на английском: модель лучше всего понимает английские указания.
Простая озвучка
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Сначала ограничения, затем голос, затем точный текст. Указать, чего в записи быть не должно, так же важно, как и то, что в ней должно быть.
Сцена с таймкодами
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Таймкоды ставят каждый звук на своё место на таймлайне, так что аудио совпадает с монтажными склейками, которые вы уже сделали.
На что обратить внимание
С чем мы столкнулись при тестировании и о чём прямо говорится в документации.
- Имена и редкие слова могут «плавать» от дубля к дублю. В русском переводе нашего второго тестового фильма, действие которого происходит в Лондоне 1666 года, старинное название речной лодки на Темзе прозвучало неверно, а имя одного из героев изменило форму. Перевод видео принимает глоссарий, так что перед запуском перечислите в нём все имена.
- Для дубляжа нужно описание. Seed Audio 1.5 сама не пишет реплики: скажите ей, что произносится и что слышно.
- Модель создаёт звук, а не движение губ. Переведённый голос сохраняет тайминг оригинала, но артикуляция на экране не перерисовывается.
- Один запрос охватывает до 6 минут. Более длинные видео придётся разрезать, а склейка посреди фразы слышна, поэтому режьте по паузе.
- Перевод видео начинается с английского или китайского. Видео на другом языке напрямую перевести нельзя.
- Клонируйте только те голоса, которые вы вправе использовать.
Seed Audio 1.5: частые вопросы
Что такое Seed Audio 1.5?
Seed Audio 1.5 — модель генерации звука от ByteDance, выпущенная 28 октября 2026 года. Она создаёт речь, звуковые эффекты и музыку за один проход и стала первой версией Seed Audio, которая принимает видео. Именно поэтому стали возможны дубляж видео и перевод видео тем же голосом.
Умеет ли Seed Audio 1.5 переводить видео тем же голосом?
Да. Перевод видео заново озвучивает речь на другом языке, сохраняя характер голоса диктора, а оригинальные звуковые эффекты и музыка остаются на месте. В нашем тесте 9-минутная английская озвучка вернулась на 12 языках, и каждая версия была той же длины, что и оригинал.
Какие языки поддерживает Seed Audio 1.5?
30 языков для речи, в том числе английский, китайский, японский, корейский, испанский (Испания и Мексика), португальский (Бразилия и Португалия), немецкий, французский, русский, арабский и хинди. Перевод видео идёт с английского или китайского на любой из этих 30 языков.
Какой длины может быть видео?
Один запрос принимает видео длиной от 4 до 360 секунд, размером до 200 МБ, в разрешении 480p, 720p или 1080p. Более длинный фильм разрежьте по паузам и переводите по частям, как мы сделали с 9-минутным фильмом о Помпеях.
Сколько времени занимает перевод?
В наших запусках каждая часть длиной около четырёх с половиной минут обрабатывалась от 157 до 200 секунд на один язык.
Делает ли Seed Audio 1.5 липсинк?
Нет. Она генерирует только звук. Переведённый голос следует тайминг оригинала, но само видео, включая движение губ, не меняется.
Можно ли отделить вокал, музыку и звуковые эффекты?
Да. Загрузите аудиофайл длиной до 6 минут, и модель вернёт голоса, эффекты и музыку отдельными дорожками — до шести в сумме.
Что изменилось по сравнению с Seed Audio 1.0?
В Seed Audio 1.5 появился ввод видео, благодаря чему стали доступны дубляж и перевод видео. Кроме того, добавились разделение на стемы и музыка длиной до 6 минут, модель принимает до шести референсов голоса, создаёт до 6 минут аудио за запрос и говорит на 30 языках.
Seed Audio 1.5 — это то же самое, что Seed Audio 2.0?
Некоторые сайты называют будущую модель Seed Audio 2.0. В документации ByteDance по раннему доступу она называется Seed Audio 1.5, и мы используем именно это название.
Связан ли Doitong с ByteDance?
Нет. Doitong — независимая платформа для ИИ-видео. У нас был ранний доступ к Seed Audio 1.5, и здесь мы описываем собственные результаты.
Что можно делать с Seed Audio 1.5
Подарите своему видео голос на другом языке
Начните с одного короткого ролика, проверьте имена, а затем запускайте весь фильм.
Начать в Doitong