Seed Audio 1.5: бейнені сол дауыспен аудару және дубляждау
Дауысқа, дыбыс эффектілеріне және музыкаға арналған бір модель, бейнеңізге сүйеніп жұмыс істейді
Seed Audio 1.5 – ByteDance компаниясының жаңа аудио моделі. Ол бейнені тыңдап, жаңа саундтрек жазады: сол диктор жапон тілінде сөйлейді, дубляж кадрға сай келеді немесе дауыс, музыка мен эффектілер жеке жолдарға бөлінеді. Біз ерте қолжетімділікте осы модельмен 9 минуттық анимациялық фильмді 12 тілге аудардық. Модель не істегенін, қай жерде қателескенін және дәл осындай нәтижеге қалай жетуге болатынын көрсетеміз.
Doitong – тәуелсіз платформа, ByteDance-пен байланысы жоқ.
Біздің тест: бір фильм, 12 тіл, сол диктор
Біз ағылшын тіліндегі дикторлық мәтіні бар, 9 минуттық тарихи анимациялық фильм “The Last Ordinary Day in Pompeii” үлгісін алып, әр тіл үшін Seed Audio 1.5 бейне аудармасынан бір реттен өткіздік. Бейнені қосып, «Параметрлер → Аудиожол» бөлімінен ағылшын түпнұсқасы мен 12 аударманың арасында ауысып көріңіз.
Осы бейнедегі аудиожолдар: ағылшын (түпнұсқа), сонымен қатар орыс, неміс, француз, испан (Испания), итальян, жапон, корей, голланд, швед, дат, норвег және фин тілдері.
- Фильм ұзақтығы
- 9:00
- Тілдер
- 12
- Бір сұрауға кеткен уақыт
- 2,6–3,3 мин
- Ұзақтық айырмасы
- < 0,03 с
Тестті қалай жүргіздік
Жоғарыдағы сандар баспасөз релизінен емес, өз журналдарымыздан алынған. Тестті қайталағыңыз келсе, үш нәрсе маңызды.
Үзіліс кезінде бөлдік
Бір сұрау ұзақтығы 4 пен 360 секунд аралығындағы бейнені қабылдайды, сондықтан 9 минуттық фильмді табиғи үзіліс кезінде екіге бөліп жібердік: 4:43 және 4:17. 12 тіл – 24 сұрау, әрқайсысы 157–200 секундта дайын болды.
Ұзақтық сақталды
Аударылған әр бөлік түпнұсқамен бірдей ұзақтықта шықты. Бірінші бөлік 283,26 секунд болды (түпнұсқа – 283,29), екінші бөлік 256,83 секундқа 256,83 секунд сәйкес келді, және барлық тілде көрсеткіштер дәл осындай болды. Жаңа дикторлық дауыс кадрға қосымша түзетусіз түсті.
Тек дауысты жібердік
Модельге музыкасыз, тек дикторлық дауысты бердік, ал музыка мен эффектілерді кейін өзіміз қайта араластырдық. Музыка мен эффектілерді аударма ішінде сақтау – модельдің жарияланған мүмкіндігі, бірақ бұл тест оған сүйенген жоқ.
Seed Audio 1.5 не істей алады
1.5 нұсқасы – бейнені қабылдайтын алғашқы Seed Audio моделі. Төмендегі міндеттердің көбі осы бір өзгерістің арқасында мүмкін болды.
Бейнені сол дауыспен аудару
Ағылшын немесе қытай тілінен 30 тілге. Дауыс спикердің мінезін сақтайды, түпнұсқадағы эффектілер мен фондық музыка орнында қалады, тек сөйлеу өзгереді.
Сипаттама бойынша бейнені дубляждау
Бейнені беріп, не естілуі керегін сипаттаңыз: репликалар, дауыстар, эффектілер, музыка. Модель кадрға сай аудио жазады. Сценарийді сіздің орныңызға ойлап таппайды.
Аудионы жеке жолдарға бөлу
Аудиофайлды беріңіз де, дауыстарды, эффектілер мен музыканы жеке жолдар ретінде алыңыз, олар алты жолға дейін болады және араластыруға дайын.
Дыбыссыз клипті дыбыстау
Фондық дыбысты, қадам үнін, есік дыбысын, музыкалық негізді сұраңыз және әрқайсысын промптағы таймкодтар арқылы уақыт шкаласына орналастырыңыз.
Дауысты клондау
Ұзақтығы 2–30 секундтық алты референс клипке дейін дауыстың тембрін анықтайды. Референсті бейнемен біріктірсеңіз, дубляж сол дауыспен айтылады.
Мәтіні бар әндер жазу
Мәтіндік брифтен алты минутқа дейінгі музыка, ән мәтіні ағылшын, қытай, жапон, корей немесе кантон тілінде айтылады.
Seed Audio 1.5 шектеулері
Шектеулер ByteDance компаниясының ерте қолжетімділік интеграциясы нұсқаулығынан алынған. Бейнені кесер алдында тексеріп алыңыз.
| Кіріс | Шектеу |
|---|---|
| Бейне ұзақтығы | бір сұрауға 4–360 секунд |
| Бейне форматтары | MP4, MOV |
| Бейне ажыратымдылығы | 480p, 720p немесе 1080p |
| Бейне файл өлшемі | 200 MB дейін |
| Дауыс референс клиптері | 6-ға дейін, әрқайсысы 2–30 с, барлығы 180 с |
| Жолдарға бөлуге арналған аудио | Бір файл, 2–360 с, 90 MB дейін, WAV немесе MP3 |
| Шығыс | Мәні |
|---|---|
| Бір сұрауға ең ұзақ аудио | 6 минут |
| Бөлінген жолдар | 6-ға дейін |
| Форматтар | WAV (әдепкі), MP3, PCM, OGG Opus |
| Әдепкі дискретизация жиілігі | 44,1 кГц |
| Сөйлеу тілдері | 30 |
| Бейне аудармасының бастапқы тілі | ағылшын немесе қытай, не автоматты түрде анықталады |
Дереккөз: ByteDance Seed Audio 1.5 ерте қолжетімділік интеграциясы нұсқаулығы, 2026 жылғы қазан. Шыққаннан кейін шектеулер өзгеруі мүмкін.
30 тіл
Seed Audio 1.5 осы тілдерде сөйлейді. Бейне аудармасы ағылшын немесе қытай тілінен солардың кез келгеніне жасалады.
Әндегі мәтін аздау тілде қолдау табады: ағылшын, қытай, жапон, корей және кантон тілдерінде.
Жұмыс істейтін промптар
ByteDance промпт нұсқаулығы үш деңгейді сипаттайды: қарапайым сипаттама, оқиғалар ретін белгілейтін сценарий және нақты секундтары бар таймлайн. Қарапайымнан бастап, уақыт маңызды жерлерде ғана таймкод қосыңыз. Промптар ағылшын тілінде қалады, өйткені модель ағылшын нұсқауларын жақсы орындайды.
Қарапайым дикторлық дауыс
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Алдымен шектеулер, содан кейін дауыс, соңында нақты сөздер. Не болмауы керегін айту не болуы керегін айтудай маңызды.
Уақыт бойынша жазылған көрініс
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Таймкодтар әр дыбысты уақыт шкаласына орналастырады, сондықтан аудио сіз жасап қойған монтаждық кесінділерге дәл сәйкес келеді.
Неге назар аудару керек
Тест кезінде кездескен жайттар және құжаттамада анық көрсетілген нәрселер.
- Есімдер мен сирек сөздер дубльден дубльге ауытқуы мүмкін. 1666 жылғы Лондонда өтетін екінші тест фильміміздің орыс тіліндегі аудармасында Темзадағы өзен қайығының ескі атауы қате шықты, ал бір кейіпкердің есімі басқа формаға өзгерді. Бейне аудармасы глоссарийді қабылдайды, сондықтан іске қосар алдында есімдердің тізімін беріңіз.
- Дубляж үшін сипаттама қажет. Seed Audio 1.5 репликаларды өздігінен жазбайды; не айтылатынын және не естілетінін өзіңіз көрсетіңіз.
- Ол дыбыс жасайды, ерін қозғалысын емес. Аударылған дауыс түпнұсқаның уақытын сақтайды, бірақ экрандағы ауыз қайта сызылмайды.
- Бір сұрау 6 минутқа дейінгі бейнені қамтиды. Ұзағырақ бейнелерді бөлу керек, ал сөйлем ортасындағы кесінді естіледі, сондықтан үзіліс кезінде кесіңіз.
- Бейне аудармасы ағылшын немесе қытай тілінен басталады. Басқа тілдегі бейнені тікелей аудару мүмкін емес.
- Тек пайдалануға құқығыңыз бар дауыстарды ғана клондаңыз.
Seed Audio 1.5 туралы жиі қойылатын сұрақтар
Seed Audio 1.5 бейнені қазақ тіліне аудара немесе дубляждай ала ма?
Әзірге жоқ: қазақ тілі Seed Audio 1.5 шыққан кезде сөйлейтін 30 тілдің қатарында жоқ. Ағылшын немесе қытай тіліндегі бейнені орыс, түрік, неміс немесе корей тіліне аударуға болады.
Seed Audio 1.5 деген не?
Seed Audio 1.5 – ByteDance компаниясының 2026 жылғы 28 қазанда шыққан аудио генерация моделі. Ол сөйлеуді, дыбыс эффектілерін және музыканы бір жолда жасайды, әрі бейнені қабылдайтын алғашқы Seed Audio нұсқасы, бейне дубляжы мен бейнені сол дауыспен аудару осының арқасында мүмкін болды.
Seed Audio 1.5 бейнені сол дауыспен аудара ма?
Иә. Бейне аудармасы сөйлеуді басқа тілде қайта дыбыстайды, спикер дауысының мінезін сақтайды, түпнұсқадағы дыбыс эффектілері мен музыканы да қалдырады. Біздің тестте 9 минуттық ағылшын тіліндегі дикторлық мәтін 12 тілде шықты, әрқайсысы түпнұсқамен бірдей ұзақтықта.
Seed Audio 1.5 қандай тілдерді қолдайды?
Сөйлеу үшін 30 тіл, соның ішінде ағылшын, қытай, жапон, корей, испан (Испания және Мексика), португал (Бразилия және Португалия), неміс, француз, орыс, араб және хинди. Бейне аудармасы ағылшын немесе қытай тілінен осы 30 тілдің кез келгеніне жасалады.
Бейне қанша уақытқа дейін болуы мүмкін?
Бір сұрау ұзақтығы 4–360 секунд, көлемі 200 MB дейінгі, 480p, 720p немесе 1080p бейнені қабылдайды. Ұзағырақ фильмді үзіліс кезінде бөліп, бөліктерін бір-бірден аударыңыз, біз 9 минуттық Помпей фильмімен осылай істедік.
Аударма қанша уақыт алады?
Біздің сынақтарда шамамен төрт жарым минуттық әр бөлік бір тілге 157–200 секунд алды.
Seed Audio 1.5 lip sync жасай ма?
Жоқ. Ол аудио жасайды. Аударылған дауыс түпнұсқаның уақытын қайталайды, бірақ бейненің өзі, соның ішінде ауыз қозғалысы, өзгермейді.
Дауысты, музыканы және дыбыс эффектілерін бөліп алуға бола ма?
Иә. 6 минутқа дейінгі аудиофайлды берсеңіз, ол дауыстарды, эффектілерді және музыканы жеке жолдар ретінде қайтарады, барлығы алтыға дейін.
Seed Audio 1.0-мен салыстырғанда не өзгерді?
Seed Audio 1.5 бейне енгізуді қосты, бейне дубляжы мен бейне аудармасы соның арқасында пайда болды. Сондай-ақ дыбысты жолдарға бөлу және алты минутқа дейінгі музыка қосылды, алты дауыс референс клипін қабылдайды, бір сұрауға 6 минутқа дейін аудио шығарады және 30 тілде сөйлейді.
Seed Audio 1.5 мен Seed Audio 2.0 бір нәрсе ме?
Кейбір сайттар алдағы модельді Seed Audio 2.0 деп көрсетеді. ByteDance-тың ерте қолжетімділік құжаттамасы оны Seed Audio 1.5 деп атайды, біз де осы атауды қолданамыз.
Doitong ByteDance-пен байланысты ма?
Жоқ. Doitong – тәуелсіз AI бейне платформасы. Бізде Seed Audio 1.5-ке ерте қолжетімділік болды және мұнда өз нәтижелерімізді сипаттаймыз.
Seed Audio 1.5 арқылы не істей аласыз
Бейнеңізге басқа тілде дауыс беріңіз
Бір қысқа клиптен бастаңыз, есімдерді тексеріңіз, содан кейін бүкіл фильмді іске қосыңыз.
Doitong-та бастау