Seed Audio 1.5: video tulkošana un dublēšana ar to pašu balsi
Viens modelis balsij, skaņas efektiem un mūzikai, ko vada jūsu video
Seed Audio 1.5 ir ByteDance jaunais audio modelis. Tas saņem video, noklausās to un uzraksta jaunu skaņu celiņu: tas pats diktors runā japāņu valodā, dublāža seko attēlam, vai arī balss, mūzika un efekti tiek atdalīti atsevišķos celiņos. Agrīnajā piekļuvē ar to iztulkojām 9 minūšu garu animācijas filmu 12 valodās. Lūk, ko modelis paveica, kur paklupa un kā iegūt tādu pašu rezultātu.
Doitong ir neatkarīga platforma, kas nav saistīta ar ByteDance.
Mūsu tests: viena filma, 12 valodas, viens un tas pats diktors
Mēs paņēmām “The Last Ordinary Day in Pompeii” — 9 minūšu garu animācijas vēstures filmu ar diktora tekstu angļu valodā — un katrai valodai vienreiz izlaidām cauri Seed Audio 1.5 video tulkošanai. Atskaņojiet video un sadaļā Iestatījumi → Audio celiņš pārslēdzieties starp angļu oriģinālu un 12 tulkojumiem.
Šī video audio celiņi: angļu (oriģināls), kā arī krievu, vācu, franču, spāņu (Spānija), itāļu, japāņu, korejiešu, holandiešu, zviedru, dāņu, norvēģu un somu valoda.
- Filmas garums
- 9:00
- Valodas
- 12
- Laiks vienam pieprasījumam
- 2,6–3,3 min
- Garuma atšķirība
- < 0,03 s
Kā mēs veicām testu
Iepriekš minētie skaitļi ir no mūsu pašu žurnāliem, nevis no preses relīzes. Ja vēlaties testu atkārtot, svarīgas ir trīs detaļas.
Dalīšana pauzē
Viens pieprasījums pieņem video no 4 līdz 360 sekundēm, tāpēc 9 minūšu filma tika nosūtīta divās daļās, kas sagrieztas dabiskā pauzē: 4:43 un 4:17. Divpadsmit valodas nozīmēja 24 pieprasījumus, un katrs tika izpildīts 157–200 sekundēs.
Garums saglabājās
Katra iztulkotā daļa sanāca tikpat gara kā oriģināls. Pirmā daļa atgriezās ar 283,26 sekundēm pret 283,29 avotā, otrā — ar 256,83 pret 256,83, un visās valodās rādītāji bija vienādi. Jaunais diktora teksts iekrita attēlā bez papildu pielāgošanas laikā.
Mēs nosūtījām tikai balsi
Modelim iedevām diktora tekstu bez mūzikas, bet savu mūziku un efektus pēc tam uzmiksējām paši. Mūzikas un efektu saglabāšana tulkojuma laikā ir modeļa deklarēta iespēja, taču šajā testā uz to nepaļāvāmies.
Ko Seed Audio 1.5 māk
Versija 1.5 ir pirmais Seed Audio modelis, kas pieņem video. Šī vienīgā izmaiņa paver iespēju lielākajai daļai tālāk minēto darbu.
Video tulkošana ar to pašu balsi
No angļu vai ķīniešu valodas 30 valodās. Balss saglabā runātāja raksturu, un oriģinālie efekti un fona mūzika paliek vietā — mainās tikai runa.
Video dublēšana pēc apraksta
Iedodiet video un aprakstiet, kas jādzird: replikas, balsis, efekti, mūzika. Modelis uzraksta audio, kas seko attēlam. Scenāriju jūsu vietā tas neizdomās.
Audio atdalīšana celiņos
Ielādējiet audio failu un saņemiet balsis, efektus un mūziku kā atsevišķus celiņus — līdz sešiem —, gatavus miksēšanai.
Skaņa video bez skaņas
Pieprasiet fona skaņas, soļus, durvju skaņu, mūzikas pamatni un ar laika atzīmēm uzvednē novietojiet katru no tām laika joslā.
Balss klonēšana
Līdz sešiem atsauces fragmentiem, katrs 2–30 sekundes garš, nosaka tembru. Apvienojiet atsauci ar video, un dublāža tiks ierunāta šajā balsī.
Dziesmas ar vārdiem
Mūzika līdz sešu minūšu garumā pēc teksta apraksta, ar dziedātiem vārdiem angļu, ķīniešu, japāņu, korejiešu vai kantoniešu valodā.
Seed Audio 1.5 ierobežojumi
Ierobežojumi no ByteDance agrīnās piekļuves integrācijas rokasgrāmatas. Pārbaudiet tos, pirms griežat savu video.
| Ievade | Ierobežojums |
|---|---|
| Video garums | 4–360 sekundes vienā pieprasījumā |
| Video formāti | MP4, MOV |
| Video izšķirtspēja | 480p, 720p vai 1080p |
| Video faila izmērs | Līdz 200 MB |
| Balss atsauces fragmenti | Līdz 6, katrs 2–30 s, kopā 180 s |
| Audio celiņu atdalīšanai | Viens fails, 2–360 s, līdz 90 MB, WAV vai MP3 |
| Izvade | Vērtība |
|---|---|
| Garākais audio vienā pieprasījumā | 6 minūtes |
| Atdalītie celiņi | Līdz 6 |
| Formāti | WAV (noklusējuma), MP3, PCM, OGG Opus |
| Noklusējuma iztveršanas frekvence | 44,1 kHz |
| Runas valodas | 30 |
| Video tulkošanas avota valoda | Angļu vai ķīniešu, vai noteikta automātiski |
Avots: ByteDance Seed Audio 1.5 agrīnās piekļuves integrācijas rokasgrāmata, 2026. gada oktobris. Pēc izdošanas ierobežojumi var mainīties.
30 valodas
Seed Audio 1.5 runā šajās valodās. Video tulkošana notiek no angļu vai ķīniešu valodas jebkurā no tām.
Dziesmu vārdi tiek atbalstīti mazākā valodu kopā: angļu, ķīniešu, japāņu, korejiešu un kantoniešu valodā.
Uzvednes, kas darbojas
ByteDance uzvedņu rokasgrāmata apraksta trīs līmeņus: vienkāršs apraksts, scenārijs, kas nosaka notikumu secību, un laika josla ar precīzām sekundēm. Sāciet ar vienkāršo un laika atzīmes pievienojiet tikai tur, kur svarīgs laiks. Uzvednes paraugi paliek angļu valodā, jo modelis angļu režijas norādes izprot vislabāk.
Vienkārša aizkadra balss
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Vispirms ierobežojumi, tad balss, tad precīzie vārdi. Norādīt, kam nevajag parādīties, ir tikpat svarīgi kā to, kam jāparādās.
Scēna ar laika atzīmēm
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Laika atzīmes novieto katru skaņu laika joslā, tāpēc audio sakrīt ar griezumiem, ko jau esat izdarījis.
Uz ko jāpievērš uzmanība
Tas, ar ko saskārāmies testos, un tas, ko dokumentācija norāda skaidri.
- Vārdi un retāk lietoti vārdi dažādos mēģinājumos var atšķirties. Otrās testa filmas, kuras darbība norisinās Londonā 1666. gadā, tulkojumā krievu valodā vecais Temzas upes laivas nosaukums sanāca nepareizs, un viena tēla vārds mainīja formu. Video tulkošana pieņem glosāriju, tāpēc pirms palaišanas sarakstiet tajā īpašvārdus.
- Dublēšanai vajadzīgs apraksts. Seed Audio 1.5 pats neraksta replikas; pastāstiet, kas tiek teikts un kas jādzird.
- Tas rada skaņu, nevis lūpu kustības. Iztulkotā balss saglabā oriģināla laiku, bet mutes ekrānā netiek pārzīmētas.
- Viens pieprasījums aptver līdz 6 minūtēm. Garāki video jādala, un griezums teikuma vidū ir dzirdams, tāpēc griežiet pauzē.
- Video tulkošana sākas no angļu vai ķīniešu valodas. Video citā valodā tieši iztulkot nevar.
- Klonējiet tikai tās balsis, kuras jums ir tiesības izmantot.
Biežāk uzdotie jautājumi par Seed Audio 1.5
Vai Seed Audio 1.5 var iztulkot vai nodublēt video latviešu valodā?
Pagaidām nē: latviešu valoda nav starp 30 valodām, kurās Seed Audio 1.5 runā izdošanas brīdī. Video angļu vai ķīniešu valodā var iztulkot valodās, kas latviski runājošajiem visticamāk noderēs: piemēram, krievu, vācu, poļu, zviedru vai somu valodā.
Kas ir Seed Audio 1.5?
Seed Audio 1.5 ir ByteDance audio ģenerēšanas modelis, kas izdots 2026. gada 28. oktobrī. Tas vienā piegājienā rada runu, skaņas efektus un mūziku, un ir pirmā Seed Audio versija, kas pieņem video, — tieši tas padara iespējamu video dublēšanu un video tulkošanu ar to pašu balsi.
Vai Seed Audio 1.5 tulko video ar to pašu balsi?
Jā. Video tulkošana ieskaņo runu citā valodā, saglabājot runātāja balss raksturu, un patur oriģinālos skaņas efektus un mūziku. Mūsu testā 9 minūšu garš angļu diktora teksts atgriezās 12 valodās, katrā tikpat garš kā oriģināls.
Kuras valodas atbalsta Seed Audio 1.5?
30 runas valodas, tostarp angļu, ķīniešu, japāņu, korejiešu, spāņu (Spānija un Meksika), portugāļu (Brazīlija un Portugāle), vācu, franču, krievu, arābu un hindi valoda. Video tulkošana notiek no angļu vai ķīniešu valodas jebkurā no šīm 30 valodām.
Cik garš drīkst būt video?
Viens pieprasījums pieņem video no 4 līdz 360 sekundēm, līdz 200 MB, izšķirtspējā 480p, 720p vai 1080p. Garāku filmu sadaliet pauzēs un tulkojiet daļas pa vienai, kā mēs darījām ar 9 minūšu garo filmu par Pompejām.
Cik ilgi aizņem tulkošana?
Mūsu mēģinājumos katra aptuveni četrarpus minūšu garā daļa vienai valodai prasīja no 157 līdz 200 sekundēm.
Vai Seed Audio 1.5 veic lūpu sinhronizāciju?
Nē. Tas ģenerē audio. Iztulkotā balss seko oriģināla laikam, bet pats video, tostarp mutes kustības, netiek mainīts.
Vai tas var atdalīt vokālu, mūziku un skaņas efektus?
Jā. Iedodiet audio failu līdz 6 minūtēm, un tas atgriezīs balsis, efektus un mūziku kā atsevišķus celiņus — kopā līdz sešiem.
Kas mainījies salīdzinājumā ar Seed Audio 1.0?
Seed Audio 1.5 pievieno video ievadi, kas dod video dublēšanu un video tulkošanu. Tāpat tas pievieno celiņu atdalīšanu un mūziku līdz 6 minūtēm, pieņem līdz sešiem balss atsauces fragmentiem, vienā pieprasījumā izveido līdz 6 minūtēm audio un runā 30 valodās.
Vai Seed Audio 1.5 ir tas pats, kas Seed Audio 2.0?
Dažas vietnes gaidāmo modeli min kā Seed Audio 2.0. ByteDance agrīnās piekļuves dokumentācijā tas saukts par Seed Audio 1.5, un mēs lietojam šo nosaukumu.
Vai Doitong ir saistīts ar ByteDance?
Nē. Doitong ir neatkarīga MI video platforma. Mums bija agrīna piekļuve Seed Audio 1.5, un šeit aprakstām savus rezultātus.
Ko var darīt ar Seed Audio 1.5
Dodiet savam video balsi citā valodā
Sāciet ar vienu īsu fragmentu, pārbaudiet īpašvārdus un tad palaidiet visu filmu.
Sākt ar Doitong