Videon tekoälydubbaus, joka seuraa kuvaa
Äänet, tehosteet ja musiikki yhdellä kuvauksella
Useimmat tekoälyn puhesyntetisaattorit lukevat tekstin tyhjiöön, ja äänen sovittaminen leikkaukseen jää sinulle. Seed Audio 1.5 katsoo videota. Kuvaile, kuka puhuu, mitä hän sanoo, miltä tila kuulostaa ja mitä musiikki tekee, niin saat yhden äänimaailman, joka on ajoitettu ruudulla tapahtuvaan. Voit dubata myös suomeksi.
Sinä kirjoitat repliikit. Malli esittää ne tehosteineen ja musiikkeineen kuvan tahdissa.
Kolme tapaa dubata
ByteDance dokumentoi kolme videotilaa. Valitse sen mukaan, kuinka tarkasti haluat hallita ääntä.
Video ja kuvaus
Malli lukee kuvan tapahtumat ja äänittää ne tekstisi pohjalta: repliikit, äänityypin, tehosteet ja taustamusiikin.
Video, kuvaus ja ääni
Lisää referenssiklippi, niin repliikit puhutaan sillä äänellä. Video määrää ajoituksen, referenssi äänen sävyn.
Käännä se, mitä videolla jo on
Jos videolla on jo englannin- tai kiinankielistä puhetta, käännä se ja säilytä puhujan oma ääni.
Missä dubbauksesta on eniten hyötyä
Tekoälyllä tuotettu kuva
Videomallien klipit tulevat usein ilman ääntä tai arvatulla äänimaailmalla. Dubbaa ne dialogilla ja tunnelmalla, jota kohtaus oikeasti tarvitsee.
Huono kuvauspaikan ääni
ByteDance mainitsee heikkolaatuisen äänen parantamisen yhtenä käyttötapana: esitä kohtaus uudelleen puhtaasti sen sijaan, että taistelisit kohinaa vastaan.
Lyhytdraamat ja sarjat
Pidä hahmon ääni samana jaksosta toiseen käyttämällä aina samaa referenssiklippiä.
Mainokset ja promot
Ajoita selostus, tuotteen ääni ja musiikin korostus kuvaruudulle tarkasti ja vaihda sitten kieli seuraavaa markkinaa varten.
Näin dubbaat videon Seed Audio 1.5:llä
Valmistele leikkaus
MP4 tai MOV, 4–360 sekuntia, 480p–1080p, enintään 200 Mt. Dubbaa lopullinen leikkaus: jos leikkaus muuttuu, ajoitus muuttuu.
Kirjoita, mitä kuuluu
Repliikit lainausmerkeissä, lyhyt kuvaus kustakin äänestä, sitten tehosteet ja musiikki. Malli ei keksi dialogia itse, joten kaikki sanottava kirjoitetaan promptiin.
Lukitse ajoitus tärkeisiin kohtiin
Käytä aikaleimoja, kuten [2.0s:6.5s], repliikeille ja tehosteille, joiden pitää osua leikkauskohtaan. Loput voit jättää mallin hoidettavaksi.
Lisää tarvittaessa ääniviite
Enintään kuusi klippiä, kukin 2–30 sekuntia. Käytä samaa klippiä aina, kun hahmo puhuu.
Esimerkkipromptit
ByteDancen promptiopas suosittelee kuvaamaan, mitä kuuluu, miltä se kuulostaa ja minkä ei pidä kuulua. Promptit pidetään englanniksi.
Kaksi ihmistä sateisella kadulla
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Jokaisesta puhujasta kirjoitetaan yhden rivin kuvaus ja tunnetila ennen repliikkiä.
Tuotekuva tarkalla ajoituksella
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Aikaleimat pitävät napsahduksen kohdassa, jossa kansi aukeaa.
Ennen aloittamista
- Malli ei kirjoita käsikirjoitusta. Jos promptissa ei ole kuvausta, videolle ei synny suunniteltua dialogia.
- Malli tuottaa vain ääntä. Ruudulla näkyvä suunliike ei muutu, joten dialogi toimii parhaiten kaukokuvissa, takaapäin kuvatuissa henkilöissä, selostuksessa ja animaatiossa.
- Yhdessä pyynnössä voi olla enintään 6 minuuttia ääntä; dubbaa pidemmät elokuvat kohtaus kerrallaan.
- Käytä ääniviitteitä vain puhujan luvalla.
Videon tekoälydubbaus: usein kysytyt kysymykset
Mitä on videon tekoälydubbaus?
Videon äänimaailman luomista tekoälyllä: dialogia, selostusta, tehosteita ja musiikkia, jotka on ajoitettu ruudulla tapahtuvaan. Seed Audio 1.5:ssä kuvailet äänen, ja malli tuottaa sen yhdellä kertaa.
Kirjoittaako Seed Audio 1.5 dialogin puolestani?
Ei. ByteDance toteaa selvästi, ettei malli dubbaa automaattisesti. Sinä annat repliikit ja kuvauksen äänestä, ja malli esittää ja ajoittaa ne.
Voiko dubbauksessa käyttää tiettyä ääntä?
Voi. Lisää 2–30 sekunnin referenssiklippi, niin repliikit puhutaan sillä äänellä, ja video määrää ajoituksen. Yhdessä pyynnössä voi käyttää enintään kuutta referenssiä.
Voinko dubata muillakin kielillä kuin englanniksi?
Voit. Seed Audio 1.5 puhuu 30 kieltä japanista ja koreasta puolaan, turkkiin ja hindiin.
Mitä eroa dubbauksella ja videon kääntämisellä on?
Dubbaus luo uuden äänimaailman kuvauksesi pohjalta. Videon käännös ottaa englannin- tai kiinankielisen puheen ja äänittää sen uudelleen toisella kielellä samalla äänellä.
Aiheeseen liittyvää
Anna kohtauksellesi sen tarvitsema ääni
Kirjoita repliikit, kuvaile tila ja anna kuvan määrätä ajoitus.
Dubbaa video