Seed Audio 1.5: prevod in sinhronizacija videa z istim glasom
En model za glas, zvočne učinke in glasbo, voden z vašim videom
Seed Audio 1.5 je nov zvočni model podjetja ByteDance. Vzame video, ga posluša in napiše nov zvočni zapis: isti pripovedovalec, ki govori japonsko, sinhronizacija, ki sledi sliki, ali glas, glasba in učinki, razdeljeni na ločene sledi. V zgodnjem dostopu smo z njim prevedli 9-minutni animirani film v 12 jezikov. Tukaj je, kaj je zmogel, kje se je zalomilo in kako dosežete enak rezultat.
Doitong je neodvisna platforma in ni povezan s podjetjem ByteDance.
Naš test: en film, 12 jezikov, isti pripovedovalec
Vzeli smo film “The Last Ordinary Day in Pompeii”, 9-minutni animirani zgodovinski film z angleško pripovedjo, in ga za vsak jezik posebej poslali skozi prevod videa v Seed Audio 1.5. Predvajajte video in v meniju Nastavitve → Zvočna sled preklapljajte med angleškim izvirnikom in 12 prevodi.
Zvočne sledi na tem videu: angleščina (izvirnik) ter ruščina, nemščina, francoščina, španščina (Španija), italijanščina, japonščina, korejščina, nizozemščina, švedščina, danščina, norveščina in finščina.
- Dolžina filma
- 9:00
- Jeziki
- 12
- Čas na zahtevek
- 2,6–3,3 min
- Razlika v dolžini
- < 0,03 s
Kako smo izvedli test
Zgornje številke izhajajo iz naših lastnih dnevnikov, ne iz sporočila za javnost. Če želite test ponoviti, so pomembne tri podrobnosti.
Razrez pri premoru
En zahtevek sprejme video v dolžini od 4 do 360 sekund, zato smo 9-minutni film poslali v dveh delih, razrezanih pri naravnem premoru: 4:43 in 4:17. Dvanajst jezikov je pomenilo 24 zahtevkov in vsak se je vrnil v 157 do 200 sekundah.
Dolžina se je ujemala
Vsak preveden del se je vrnil v enaki dolžini kot izvirnik. Prvi del je bil dolg 283,26 sekunde proti 283,29 pri izvirniku, drugi 256,83 proti 256,83, v vseh jezikih pa so bile številke enake. Nova pripoved se je ujela s sliko brez dodatnega prilagajanja časovnice.
Poslali smo samo glas
Modelu smo dali pripoved brez glasbe, svojo glasbo in učinke pa smo potem primešali sami. Ohranjanje glasbe in učinkov znotraj prevoda je izrecno navedena lastnost modela, vendar se ta test nanjo ni zanašal.
Kaj zmore Seed Audio 1.5
Različica 1.5 je prvi model Seed Audio, ki sprejme video. Ta ena sprememba omogoča večino spodaj naštetih opravil.
Prevod videa z istim glasom
Iz angleščine ali kitajščine v 30 jezikov. Glas ohrani značaj govorca, izvirni učinki in glasba v ozadju pa ostanejo na svojem mestu, spremeni se samo govor.
Sinhronizacija videa na podlagi opisa
Podate video in opišete, kaj naj se sliši: besedilo, glasove, učinke, glasbo. Model napiše zvok, ki sledi sliki. Scenarija ne bo izmislil namesto vas.
Ločevanje zvoka na sledi
Podate zvočno datoteko in dobite glasove, učinke in glasbo nazaj kot ločene sledi, do šest jih je, pripravljene za mešanje.
Zvok za nem posnetek
Zahtevajte ambient, korake, vrata, glasbeno podlago in vsakega od zvokov s časovnimi oznakami v opisu umestite na časovnico.
Kloniranje glasu
Do šest referenčnih posnetkov, dolgih od 2 do 30 sekund, določi barvo glasu. Če referenco združite z videom, sinhronizacijo govori ta glas.
Pesmi z besedilom
Glasba, dolga do šest minut, na podlagi besedilnega opisa, s petim besedilom v angleščini, kitajščini, japonščini, korejščini ali kantonščini.
Omejitve Seed Audio 1.5
Omejitve iz priročnika podjetja ByteDance za integracijo v zgodnjem dostopu. Preverite jih, preden razrežete video.
| Vhod | Omejitev |
|---|---|
| Dolžina videa | 4–360 sekund na zahtevek |
| Formati videa | MP4, MOV |
| Ločljivost videa | 480p, 720p ali 1080p |
| Velikost video datoteke | Do 200 MB |
| Referenčni posnetki glasu | Do 6, vsak 2–30 s, skupaj 180 s |
| Zvok za ločevanje sledi | Ena datoteka, 2–360 s, do 90 MB, WAV ali MP3 |
| Izhod | Vrednost |
|---|---|
| Najdaljši zvok na zahtevek | 6 minut |
| Ločene sledi | Do 6 |
| Formati | WAV (privzeto), MP3, PCM, OGG Opus |
| Privzeta vzorčna frekvenca | 44,1 kHz |
| Jeziki za govor | 30 |
| Izvorni jezik pri prevodu videa | Angleščina ali kitajščina oziroma samodejno zaznan jezik |
Vir: priročnik podjetja ByteDance za integracijo Seed Audio 1.5 v zgodnjem dostopu, oktober 2026. Omejitve se lahko po izidu spremenijo.
30 jezikov
Seed Audio 1.5 govori te jezike. Prevod videa poteka iz angleščine ali kitajščine v katerega koli od njih. Slovenščine med njimi ni.
Besedila pesmi so podprta v manjšem naboru: angleščina, kitajščina, japonščina, korejščina in kantonščina.
Opisi, ki delujejo
Priročnik podjetja ByteDance opisuje tri ravni: preprost opis, scenarij, ki določa vrstni red dogodkov, in časovnico s točnimi sekundami. Začnite preprosto in časovne oznake dodajte le tam, kjer je čas pomemben. Primeri ostajajo v angleščini, ker model najbolje sledi angleškim režijskim navodilom.
Preprost glasovni posnetek
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Najprej omejitve, nato glas, nato točne besede. Povedati, česa ne sme biti, je prav tako pomembno kot povedati, kaj naj bo.
Časovno določen prizor
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Časovne oznake umestijo vsak zvok na časovnico, zato se zvok ujema z rezi, ki ste jih že naredili.
Na kaj morate paziti
Stvari, na katere smo naleteli pri testiranju, in stvari, o katerih je dokumentacija jasna.
- Imena in redke besede se lahko med posnetki razlikujejo. V ruskem prevodu našega drugega testnega filma, ki se dogaja v Londonu leta 1666, je stara beseda za rečni čoln na Temzi izpadla napačno, ime ene od oseb pa je spremenilo obliko. Prevod videa sprejme glosar, zato imena navedite, preden zaženete prevod.
- Sinhronizacija potrebuje opis. Seed Audio 1.5 sam ne piše besedila; povejte mu, kaj se govori in kaj se sliši.
- Ustvarja zvok, ne gibanja ust. Prevedeni glas ohrani časovni potek izvirnika, vendar se usta na zaslonu ne preoblikujejo.
- En zahtevek zajame do 6 minut. Daljše videe je treba razrezati, rez sredi stavka pa je slišen, zato režite pri premoru.
- Prevod videa izhaja iz angleščine ali kitajščine. Videa v drugem jeziku ni mogoče prevesti neposredno.
- Klonirajte samo glasove, ki jih smete uporabljati.
Pogosta vprašanja o Seed Audio 1.5
Ali Seed Audio 1.5 zna prevesti ali sinhronizirati video v slovenščino?
Še ne. Slovenščina ni med 30 jeziki, v katerih Seed Audio 1.5 govori ob izidu. Videe v angleščini ali kitajščini lahko prevedete v jezike, ki jih bralci slovenščine pogosto potrebujejo tudi sicer, na primer v nemščino, italijanščino, madžarščino ali francoščino.
Kaj je Seed Audio 1.5?
Seed Audio 1.5 je model za ustvarjanje zvoka podjetja ByteDance, izdan 28. oktobra 2026. Govor, zvočne učinke in glasbo ustvari v enem prehodu in je prva različica Seed Audio, ki sprejme video, kar omogoča sinhronizacijo videa in prevod videa z istim glasom.
Ali Seed Audio 1.5 prevede video z istim glasom?
Da. Prevod videa govor ponovno izgovori v drugem jeziku, pri tem ohrani značaj govorčevega glasu ter izvirne zvočne učinke in glasbo. V našem testu se je 9-minutna angleška pripoved vrnila v 12 jezikih, vsaka v enaki dolžini kot izvirnik.
Katere jezike podpira Seed Audio 1.5?
30 jezikov za govor, med njimi angleščino, kitajščino, japonščino, korejščino, španščino (Španija in Mehika), portugalščino (Brazilija in Portugalska), nemščino, francoščino, ruščino, arabščino in hindijščino. Prevod videa poteka iz angleščine ali kitajščine v katerega koli od teh 30 jezikov.
Kako dolg je lahko video?
En zahtevek sprejme video v dolžini od 4 do 360 sekund, velik do 200 MB, v ločljivosti 480p, 720p ali 1080p. Daljši film razrežite pri premorih in dele prevajajte enega za drugim, kot smo to storili z 9-minutnim filmom o Pompejih.
Koliko časa traja prevod?
Pri nas je vsak del, dolg približno štiri minute in pol, trajal od 157 do 200 sekund na jezik.
Ali Seed Audio 1.5 usklajuje gibanje ustnic?
Ne. Ustvarja zvok. Prevedeni glas sledi časovnemu poteku izvirnika, vendar se sam video, vključno z gibanjem ust, ne spremeni.
Ali lahko loči vokal, glasbo in zvočne učinke?
Da. Podajte zvočno datoteko do 6 minut in vrnil bo glasove, učinke in glasbo kot ločene sledi, skupaj do šest.
Kaj se je spremenilo od Seed Audio 1.0?
Seed Audio 1.5 doda vhod z videom, kar prinaša sinhronizacijo in prevod videa. Doda tudi ločevanje zvočnih sledi in glasbo do 6 minut, sprejme do šest referenčnih posnetkov glasu, ustvari do 6 minut zvoka na zahtevek in govori 30 jezikov.
Ali je Seed Audio 1.5 isto kot Seed Audio 2.0?
Nekatera spletna mesta prihajajoči model navajajo kot Seed Audio 2.0. Dokumentacija podjetja ByteDance za zgodnji dostop ga imenuje Seed Audio 1.5 in to ime uporabljamo tudi mi.
Ali je Doitong povezan s podjetjem ByteDance?
Ne. Doitong je neodvisna platforma za AI video. Imeli smo zgodnji dostop do Seed Audio 1.5 in tukaj opisujemo lastne rezultate.
Kaj lahko počnete s Seed Audio 1.5
Dajte svojemu videu glas v drugem jeziku
Začnite z enim kratkim posnetkom, preverite imena in nato prevedite celoten film.
Začnite v Doitongu