Seed Audio 1.5: Videoen mat där selwechter Stëmm iwwersetzen an dubben
Ee Modell fir Stëmm, Toneffekter a Musek, gesteiert vun Ärem Video
Seed Audio 1.5 ass dat neit Audiomodell vu ByteDance. Et hëlt e Video, lauschtert dran a schreift en neien Soundtrack: deeselwechte Sprécher op Japanesch, en Dubbing, deen dem Bild follegt, oder Stëmm, Musek an Effekter, déi a getrennte Spure geliwwert ginn. Mir hunn et am Early Access benotzt, fir en 9-Minute-Animatiounsfilm a 12 Sproochen ze iwwersetzen. Hei steet, wat et gemaach huet, wou et gehapert huet a wéi Dir dat selwecht Resultat kritt.
Doitong ass eng onofhängeg Plattform a gehéiert net zu ByteDance.
Eisen Test: ee Film, 12 Sproochen, deeselwechte Sprécher
Mir hunn „The Last Ordinary Day in Pompeii“ geholl, en 9-Minute-Animatiounsfilm iwwer d'Geschicht mat engleschem Kommentar, a pro Sprooch eemol duerch d'Video-Iwwersetzung vu Seed Audio 1.5 geschéckt. Spillt de Video of an öffnet Astellungen → Audiospuer, fir tëscht dem englesche Original an den 12 Iwwersetzungen ze wiesselen.
Audiospure fir dëse Video: Englesch (Original) plus Russesch, Däitsch, Franséisch, Spuenesch (Spuenien), Italienesch, Japanesch, Koreanesch, Hollännesch, Schwedesch, Dänesch, Norwegesch a Finnesch.
- Längt vum Film
- 9:00
- Sproochen
- 12
- Zäit pro Ufro
- 2,6–3,3 Min.
- Längtenënnerscheed
- < 0,03 s
Wéi mir den Test duerchgefouert hunn
D'Zuelen hei uewen staamen aus eise Logbicher, net aus enger Pressemeldung. Dräi Detailer sinn wichteg, wann Dir et nomaache wëllt.
Bei enger Paus opgedeelt
Eng Ufro hëlt e Video vu 4 bis 360 Sekonne un. Dofir ass den 9-Minute-Film aPartien eragaangen, déi bei enger natierlecher Paus geschnidde goufen: 4:43 an 4:17. 12 Sproochen hunn 24 Ufroe bedeit, an all Ufro koum no 157 bis 200 Sekonne zréck.
D'Längt huet gehalen
All iwwersaten Deel koum esou laang zréck ewéi dee vum Original. Deel eent koum mat 283,26 Sekonnen zréck, géint 283,29 bei der Quell, Deel zwee mat 256,83 géint 256,83, an dat selwecht a jidder Sprooch. De neie Kommentar ass ouni Retiming op d'Bild gefall.
Mir hunn d'Stëmm eleng geschéckt
Mir hunn dem Modell de Kommentar ouni Musek ginn an eisen eegene Score an eis Effekter duerno erëm dobäigemëscht. Musek an Effekter an der Iwwersetzung ze behalen ass eng uginn Fonktioun vum Modell, mä dësen Test huet sech net doropper gestëtzt.
Wat Seed Audio 1.5 kann
Version 1.5 ass dat éischt Seed-Audio-Modell, dat Video unhëlt. Just dës eng Ännerung mécht déi meescht vun den Aufgaben hei ënnen méiglech.
E Video mat der selwechter Stëmm iwwersetzen
Vun Englesch oder Chinesesch an 30 Sproochen. D'Stëmm behält de Charakter vum Sprécher, an déi originell Effekter an d'Hannergrondmusek bleiwen, wärend nëmmen d'Sprooch ännert.
E Video no enger Beschreiwung dubben
Gitt him e Video a beschreift, wat ze héieren soll sinn: d'Texter, d'Stëmmen, d'Effekter, d'Musek. Et schreift Audio, dat dem Bild follegt. D'Skript erfënnt et Iech net.
Audio a Stems opdeelen
Gitt him eng Audiodatei a kritt Stëmmen, Effekter a Musek als getrennte Spure zréck, bis zu sechs, prett fir eng Mixsessioun.
E stille Clip mat Toun ënnerleeën
Frot no Ambiance, Schrëtt, enger Dier, engem Musekbett a setzt all Element mat Timestamps am Prompt op d'Timeline.
Eng Stëmm klonen
Bis zu sechs Referenzclips vun 2 bis 30 Sekonnen definéieren d'Klangfaarf. Kombinéiert Dir eng Referenz mat engem Video, gëtt den Dubbing mat där Stëmm geschwat.
Lidder mat Text schreiwen
Musek bis zu sechs Minutten aus engem Text-Brief, mat gesongenem Text op Englesch, Chinesesch, Japanesch, Koreanesch oder Kantonesesch.
Limitte vu Seed Audio 1.5
Limitte aus dem Integratiounsleitfuedem vu ByteDance fir den Early Access. Kontrolléiert se, ier Dir Äre Video schneit.
| Input | Limit |
|---|---|
| Videolängt | 4–360 Sekonne pro Ufro |
| Videoformater | MP4, MOV |
| Videoopléisung | 480p, 720p oder 1080p |
| Gréisst vun der Videodatei | Bis 200 MB |
| Referenzclips fir d'Stëmm | Bis zu 6, 2–30 s pro Clip, 180 s am Ganzen |
| Audio fir d'Stem-Trennung | Eng Datei, 2–360 s, bis 90 MB, WAV oder MP3 |
| Output | Wäert |
|---|---|
| Längst Audio pro Ufro | 6 Minutten |
| Stem-Spuren | Bis zu 6 |
| Formater | WAV (Standard), MP3, PCM, OGG Opus |
| Standard-Samplerate | 44,1 kHz |
| Sproochen fir Sprooch | 30 |
| Quell vun der Video-Iwwersetzung | Englesch oder Chinesesch, oder automatesch erkannt |
Quell: Integratiounsleitfuedem vu ByteDance fir den Early Access vu Seed Audio 1.5, Oktober 2026. D'Limitte kënnen no der Verëffentlechung änneren.
30 Sproochen
Seed Audio 1.5 schwätzt dës Sproochen. D'Video-Iwwersetzung geet vun Englesch oder Chinesesch an all eenzel vun hinnen.
Gesange Liddertexter ginn nëmmen an enger méi klenger Auswiel ënnerstëtzt: Englesch, Chinesesch, Japanesch, Koreanesch a Kantonesesch.
Prompts, déi funktionéieren
De Prompt-Leitfuedem vu ByteDance beschreift dräi Niveauen: eng einfach Beschreiwung, e Skript, dat d'Reihenfolleg vun den Evenementer festleet, an eng Timeline mat exakte Sekonnen. Fänkt einfach un a setzt Timestamps nëmmen do derbäi, wou d'Timing zielt. D'Prompt-Beispiller bleiwen op Englesch, well de Modell englesch Reegieusginge am beschte versteet.
E schlichte Voiceover
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Fir d'éischt d'Aschränkungen, dann d'Stëmm, dann déi genau Wierder. Ze soen, wat net dra soll sinn, ass esou wichteg wéi dat, wat dra soll sinn.
Eng getimte Zeen
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Timestamps setzen all Toun op d'Timeline, sou datt den Audio mat de Schnëtter passt, déi Dir scho gemaach hutt.
Op wat Dir oppasse sollt
Saachen, déi mir am Test erlieft hunn, a Saachen, déi an der Dokumentatioun kloer stinn.
- Nimm a rar Wierder kënnen tëscht den Duerchgäng driwwer goen. An der russescher Iwwersetzung vun eisem zweeten Testfilm, dee 1666 zu London spillt, ass dat alt Wuert fir e Boot op der Themse falsch erauskomm, an den Numm vun enger Figur huet seng Form geännert. D'Video-Iwwersetzung akzeptéiert e Glossaire, also lëscht d'Nimm op, ier Dir lafe loosst.
- Dubbing brauch eng Beschreiwung. Seed Audio 1.5 schreift net vu sech aus Texter; sot him, wat gesot gëtt a wat ze héieren ass.
- Et mécht Toun, keng Lëppebewegung. Eng iwwersate Stëmm behält d'Timing vum Original, mä d'Mäuler um Bildschierm ginn net nei gezeechent.
- Eng Ufro deckt bis zu 6 Minutten of. Méi laang Videoe musse gedeelt ginn, an e Schnëtt mëtten an engem Saz ass ze héieren, also schneit bei enger Paus.
- D'Video-Iwwersetzung fänkt bei Englesch oder Chinesesch un. E Video an enger anerer Sprooch kann net direkt iwwersat ginn.
- Kloont nëmmen Stëmmen, déi Dir däerft benotzen.
FAQ zu Seed Audio 1.5
Kann Seed Audio 1.5 e Video op Lëtzebuergesch iwwersetzen oder dubben?
Nach net. Lëtzebuergesch gehéiert net zu den 30 Sproochen, déi Seed Audio 1.5 beim Release schwätzt. Videoe vun Englesch oder Chinesesch kënnen awer an Däitsch, Franséisch, Hollännesch oder Portugisesch iwwersat ginn, also an d'Sprooche, déi Dir wahrscheinlech och braucht.
Wat ass Seed Audio 1.5?
Seed Audio 1.5 ass en Audiogeneratiounsmodell vu ByteDance, erauskomm de 28. Oktober 2026. Et produzéiert Sprooch, Toneffekter a Musek an engem Duerchgang an ass déi éischt Seed-Audio-Versioun, déi Video unhëlt. Dat mécht Video-Dubbing a Video-Iwwersetzung mat der selwechter Stëmm méiglech.
Iwwersetzt Seed Audio 1.5 e Video mat der selwechter Stëmm?
Jo. D'Video-Iwwersetzung spillt d'Sprooch an enger anerer Sprooch nei an, behält de Stëmmcharakter vum Sprécher a looss déi originell Toneffekter a Musek bestoen. An eisem Test ass e 9-Minute-Kommentar op Englesch a 12 Sproochen zréckkomm, all esou laang wéi den Original.
Wéi eng Sproochen ënnerstëtzt Seed Audio 1.5?
30 Sproochen fir Sprooch, dorënner Englesch, Chinesesch, Japanesch, Koreanesch, Spuenesch (Spuenien a Mexiko), Portugisesch (Brasilien a Portugal), Däitsch, Franséisch, Russesch, Arabesch an Hindi. D'Video-Iwwersetzung geet vun Englesch oder Chinesesch an all eenzel vun deenen 30.
Wéi laang däerf de Video sinn?
Eng Ufro hëlt e Video vu 4 bis 360 Sekonnen un, bis 200 MB, a 480p, 720p oder 1080p. Fir e méi laange Film schneit Dir en bei Pausen a iwwersetzt d'Deeler een nom aneren, wéi mir et mam 9-Minute-Pompeji-Film gemaach hunn.
Wéi laang dauert eng Iwwersetzung?
An eisen Duerchgäng huet all Deel vun ongeféier véier an enger hallwer Minutt tëscht 157 an 200 Sekonne pro Sprooch gebraucht.
Mécht Seed Audio 1.5 Lipsync?
Nee. Et generéiert Audio. D'iwwersat Stëmm follegt dem Timing vum Original, mä de Video selwer, och d'Mondbewegung, gëtt net verännert.
Kann et Gesang, Musek an Toneffekter trennen?
Jo. Gitt him eng Audiodatei vu bis zu 6 Minutten, an et liwwert Stëmmen, Effekter a Musek als getrennte Spure zréck, am Ganzen bis zu sechs.
Wat huet sech géintiwwer Seed Audio 1.0 geännert?
Seed Audio 1.5 huet Video als Input derbäi, wat Video-Dubbing a Video-Iwwersetzung bréngt. Derzou kommen Stem-Trennung a Musek bis zu 6 Minutten, bis zu sechs Referenzclips fir d'Stëmm, bis zu 6 Minutten Audio pro Ufro a 30 Sproochen.
Ass Seed Audio 1.5 d'selwecht wéi Seed Audio 2.0?
E puer Sitte féieren dat kommend Modell als Seed Audio 2.0 op. D'Early-Access-Dokumentatioun vu ByteDance nennt et Seed Audio 1.5, an dat ass den Numm, deen mir benotzen.
Gehéiert Doitong zu ByteDance?
Nee. Doitong ass eng onofhängeg AI-Video-Plattform. Mir haten Early Access zu Seed Audio 1.5 a beschreiwen hei eis eege Resultater.
Wat Dir mat Seed Audio 1.5 maache kënnt
Gitt Ärem Video eng Stëmm an enger anerer Sprooch
Fänkt mat engem kuerze Clip un, kontrolléiert d'Nimm a looss dann de ganze Film lafen.
Mat Doitong ufänken