Seed Audio 1.5: tafsiri na dubbing ya video kwa sauti ileile
Modeli moja ya sauti, athari za sauti na muziki, inayoongozwa na video yako
Seed Audio 1.5 ni modeli mpya ya sauti ya ByteDance. Inachukua video, inaisikiliza na kuandika wimbo mpya wa sauti: msimulizi yuleyule akizungumza Kijapani, dubbing inayofuata picha, au sauti, muziki na athari zilizotenganishwa kuwa track tofauti. Tuliitumia katika ufikiaji wa mapema kutafsiri filamu ya katuni ya dakika 9 kwa lugha 12. Hapa tunaeleza ilichofanya, mahali ilipokosea, na jinsi ya kupata matokeo yaleyale.
Doitong ni jukwaa huru na halihusiani na ByteDance.
Jaribio letu: filamu moja, lugha 12, msimulizi yuleyule
Tulichukua “The Last Ordinary Day in Pompeii”, filamu ya katuni ya historia ya dakika 9 yenye masimulizi ya Kiingereza, na kuipitisha kwenye tafsiri ya video ya Seed Audio 1.5 mara moja kwa kila lugha. Cheza video kisha fungua Mipangilio → Wimbo wa sauti ili kubadilisha kati ya asili ya Kiingereza na tafsiri 12.
Nyimbo za sauti za video hii: Kiingereza (asili) pamoja na Kirusi, Kijerumani, Kifaransa, Kihispania (Hispania), Kiitaliano, Kijapani, Kikorea, Kiholanzi, Kiswidi, Kidenmaki, Kinorwe na Kifinlandi.
- Urefu wa filamu
- 9:00
- Lugha
- 12
- Muda kwa kila ombi
- dak 2,6–3,3
- Tofauti ya urefu
- < 0,03 s
Jinsi tulivyoendesha jaribio
Namba za hapo juu zinatoka kwenye kumbukumbu zetu wenyewe, si kwenye taarifa kwa vyombo vya habari. Mambo matatu ni muhimu ukitaka kurudia jaribio.
Tuligawanya kwenye kituo cha kimya
Ombi moja linakubali video ya sekunde 4 hadi 360, kwa hiyo filamu ya dakika 9 iliingia kama sehemu mbili zilizokatwa kwenye kituo cha asili cha kimya: 4:43 na 4:17. Lugha kumi na mbili zilimaanisha maombi 24, na kila moja lilirudi ndani ya sekunde 157 hadi 200.
Urefu ulibaki uleule
Kila sehemu iliyotafsiriwa ilirudi na urefu uleule wa asili. Sehemu ya kwanza ilirudi na sekunde 283,26 dhidi ya 283,29 za chanzo, ya pili sekunde 256,83 dhidi ya 256,83, na namba zilikuwa zilezile kwa kila lugha. Masimulizi mapya yalitua kwenye picha bila kurekebisha muda.
Tulituma sauti peke yake
Tuliipa modeli masimulizi bila muziki, kisha tukarudisha muziki na athari zetu wenyewe baadaye. Kuhifadhi muziki na athari ndani ya tafsiri ni kipengele kilichotajwa rasmi cha modeli, lakini jaribio hili halikukitegemea.
Seed Audio 1.5 inaweza kufanya nini
Toleo la 1.5 ni modeli ya kwanza ya Seed Audio inayokubali video. Badiliko hilo moja linafungua sehemu kubwa ya kazi zilizo hapa chini.
Tafsiri video kwa sauti ileile
Kutoka Kiingereza au Kichina kwenda lugha 30. Sauti inabaki na tabia ya mzungumzaji, na athari za asili pamoja na muziki wa nyuma vinabaki mahali pake huku hotuba pekee ikibadilika.
Fanya dubbing ya video kutoka maelezo
Ipe video na ueleze nini kinapaswa kusikika: maneno, sauti, athari, muziki. Inaandika sauti inayofuata picha. Haitakubunia hati ya maneno.
Gawa sauti kuwa stem
Ipe faili ya sauti na upokee sauti za watu, athari na muziki kama track tofauti, hadi sita, tayari kwa kuchanganya.
Weka sauti kwenye klipu isiyo na sauti
Omba mazingira ya sauti, nyayo, mlango, msingi wa muziki, kisha weka kila kimoja mahali pake kwenye mstari wa muda kwa timestamp ndani ya prompt.
Nakili sauti
Hadi klipu sita za rejea za sekunde 2 hadi 30 kila moja huweka timbre ya sauti. Unganisha rejea na video, na dubbing itazungumzwa kwa sauti hiyo.
Andika nyimbo zenye maneno
Muziki wenye urefu hadi dakika sita kutoka maelezo ya maandishi, pamoja na maneno yanayoimbwa kwa Kiingereza, Kichina, Kijapani, Kikorea au Kikantoni.
Mipaka ya Seed Audio 1.5
Mipaka kutoka mwongozo wa ujumuishaji wa ufikiaji wa mapema wa ByteDance. Iangalie kabla ya kukata video yako.
| Pembejeo | Kikomo |
|---|---|
| Urefu wa video | Sekunde 4–360 kwa kila ombi |
| Miundo ya video | MP4, MOV |
| Azimio la video | 480p, 720p au 1080p |
| Ukubwa wa faili ya video | Hadi MB 200 |
| Klipu za rejea za sauti | Hadi 6, sekunde 2–30 kila moja, jumla ya sekunde 180 |
| Sauti ya kutenganisha stem | Faili moja, sekunde 2–360, hadi MB 90, WAV au MP3 |
| Tokeo | Thamani |
|---|---|
| Sauti ndefu zaidi kwa kila ombi | Dakika 6 |
| Track za stem | Hadi 6 |
| Miundo | WAV (chaguo-msingi), MP3, PCM, OGG Opus |
| Kiwango cha sampuli cha chaguo-msingi | 44,1 kHz |
| Lugha za kuzungumza | 30 |
| Chanzo cha tafsiri ya video | Kiingereza au Kichina, au itambuliwe kiotomatiki |
Chanzo: mwongozo wa ujumuishaji wa ufikiaji wa mapema wa Seed Audio 1.5 wa ByteDance, Oktoba 2026. Mipaka inaweza kubadilika baada ya kutolewa rasmi.
Lugha 30
Seed Audio 1.5 inazungumza lugha hizi. Tafsiri ya video inatoka Kiingereza au Kichina kwenda mojawapo ya lugha hizi.
Maneno ya nyimbo yanasaidiwa katika orodha ndogo zaidi: Kiingereza, Kichina, Kijapani, Kikorea na Kikantoni.
Prompt zinazofanya kazi
Mwongozo wa prompt wa ByteDance unaeleza ngazi tatu: maelezo rahisi, hati inayopanga mfuatano wa matukio, na mstari wa muda wenye sekunde kamili. Anza na maelezo rahisi na ongeza timestamp pale tu muda unapohusika. Prompt zenyewe zimeachwa kwa Kiingereza kwa sababu modeli hufuata maelekezo ya Kiingereza vizuri zaidi.
Voice-over rahisi
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Kwanza masharti, kisha sauti, kisha maneno kamili. Kusema nini kisitokee ni muhimu sawa na kusema nini kitokee.
Tukio lenye muda
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Timestamp huweka kila sauti mahali pake kwenye mstari wa muda, hivyo sauti inalingana na vipande ulivyokwisha kukata.
Mambo ya kuzingatia
Mambo tuliyokutana nayo wakati wa majaribio, na mambo ambayo nyaraka zinaeleza wazi.
- Majina na maneno adimu yanaweza kubadilika kati ya majaribio. Kwenye tafsiri ya Kirusi ya filamu yetu ya pili ya majaribio, iliyoko London mwaka 1666, neno la zamani la boti ya mto Thames lilitoka vibaya na jina la mhusika mmoja lilibadilika umbo. Tafsiri ya video inakubali orodha ya istilahi, kwa hiyo orodhesha majina kabla ya kuendesha.
- Dubbing inahitaji maelezo. Seed Audio 1.5 haiandiki maneno yenyewe; iambie nini kinasemwa na nini kinasikika.
- Inatengeneza sauti, si mwendo wa midomo. Sauti iliyotafsiriwa inabaki na muda wa asili, lakini midomo kwenye skrini haichorwi upya.
- Ombi moja linashughulikia hadi dakika 6. Video ndefu zaidi lazima zigawanywe, na kukata katikati ya sentensi kunasikika, kwa hiyo kata kwenye kituo cha kimya.
- Tafsiri ya video huanzia Kiingereza au Kichina. Video ya lugha nyingine haiwezi kutafsiriwa moja kwa moja.
- Nakili sauti ambazo una haki ya kuzitumia tu.
Maswali yanayoulizwa mara kwa mara kuhusu Seed Audio 1.5
Je, Seed Audio 1.5 inaweza kutafsiri au kufanya dubbing ya video kwa Kiswahili?
Bado hapana. Kiswahili hakimo kati ya lugha 30 ambazo Seed Audio 1.5 inazungumza wakati wa kutolewa. Video ya Kiingereza au Kichina inaweza kutafsiriwa kwa lugha ambazo wasomaji wa Kiswahili wana uwezekano mkubwa wa kuzihitaji pia, kama Kiarabu, Kifaransa, Kireno na Kihindi.
Seed Audio 1.5 ni nini?
Seed Audio 1.5 ni modeli ya kutengeneza sauti kutoka ByteDance, iliyotolewa tarehe 28 Oktoba 2026. Inatoa hotuba, athari za sauti na muziki kwa mara moja, na ni toleo la kwanza la Seed Audio linalokubali video, jambo linalowezesha dubbing ya video na tafsiri ya video kwa sauti ileile.
Je, Seed Audio 1.5 inatafsiri video kwa sauti ileile?
Ndiyo. Tafsiri ya video inarudia hotuba kwa lugha nyingine huku ikibaki na tabia ya sauti ya mzungumzaji, na inahifadhi athari za asili na muziki. Kwenye jaribio letu, masimulizi ya Kiingereza ya dakika 9 yalirudi kwa lugha 12, kila moja likiwa na urefu uleule wa asili.
Seed Audio 1.5 inasaidia lugha zipi?
Lugha 30 za hotuba, zikiwemo Kiingereza, Kichina, Kijapani, Kikorea, Kihispania (Hispania na Meksiko), Kireno (Brazil na Ureno), Kijerumani, Kifaransa, Kirusi, Kiarabu na Kihindi. Tafsiri ya video inatoka Kiingereza au Kichina kwenda mojawapo ya lugha hizo 30.
Video inaweza kuwa ndefu kiasi gani?
Ombi moja linakubali video ya sekunde 4 hadi 360, hadi MB 200, kwa 480p, 720p au 1080p. Kwa filamu ndefu zaidi, igawanye kwenye vituo vya kimya na utafsiri sehemu moja baada ya nyingine, kama tulivyofanya na filamu ya Pompeii ya dakika 9.
Tafsiri inachukua muda gani?
Kwenye majaribio yetu, kila sehemu ya takriban dakika nne na nusu ilichukua kati ya sekunde 157 na 200 kwa kila lugha.
Je, Seed Audio 1.5 inafanya lip sync?
Hapana. Inatengeneza sauti. Sauti iliyotafsiriwa inafuata muda wa asili, lakini video yenyewe, ikiwemo mwendo wa midomo, haibadilishwi.
Inaweza kutenganisha sauti ya kuimba, muziki na athari za sauti?
Ndiyo. Ipe faili ya sauti ya hadi dakika 6 nayo inarudisha sauti za watu, athari na muziki kama track tofauti, hadi sita kwa jumla.
Nini kimebadilika tangu Seed Audio 1.0?
Seed Audio 1.5 inaongeza pembejeo ya video, ambayo ndiyo inaleta dubbing ya video na tafsiri ya video. Pia inaongeza utenganishaji wa stem na muziki hadi dakika 6, inakubali hadi klipu sita za rejea za sauti, inatoa hadi dakika 6 za sauti kwa kila ombi na inazungumza lugha 30.
Je, Seed Audio 1.5 ni sawa na Seed Audio 2.0?
Tovuti zingine zinaorodhesha modeli inayokuja kama Seed Audio 2.0. Nyaraka za ufikiaji wa mapema za ByteDance zinaiita Seed Audio 1.5, na hilo ndilo jina tunalotumia.
Je, Doitong inahusiana na ByteDance?
Hapana. Doitong ni jukwaa huru la video za AI. Tulipata ufikiaji wa mapema wa Seed Audio 1.5 na tunaeleza hapa matokeo yetu wenyewe.
Unachoweza kufanya na Seed Audio 1.5
Ipe video yako sauti katika lugha nyingine
Anza na klipu moja fupi, hakiki majina, kisha endesha filamu nzima.
Anza na Doitong