AI-dubbing af video, der følger billedet
Stemmer, lydeffekter og musik ud fra én beskrivelse
De fleste AI-stemmeværktøjer læser tekst op i det blå og overlader det til dig at passe den ind i klippet. Seed Audio 1.5 ser videoen. Beskriv, hvem der taler, hvad de siger, hvordan rummet lyder, og hvad musikken gør, så får du ét lydspor, der er timet efter det, der sker på skærmen. Du kan også dubbe på dansk.
Du skriver replikkerne. Modellen fremfører dem med effekter og musik i takt med billedet.
Tre måder at dubbe på
ByteDance dokumenterer tre videotilstande. Vælg efter, hvor meget kontrol du har brug for over stemmen.
Video og en beskrivelse
Modellen læser scenen og lægger lyd på ud fra din tekst: replikkerne, stemmetypen, effekterne og musikken under.
Video, beskrivelse og en stemme
Tilføj et referenceklip, så bliver replikkerne talt med den stemme. Videoen bestemmer timingen, referencen bestemmer klangfarven.
Oversæt det, der allerede er der
Hvis videoen allerede har tale på engelsk eller kinesisk, kan du i stedet oversætte den og beholde talerens egen stemme.
Hvor dubbing gør en forskel
AI-genereret materiale
Klip fra videomodeller kommer ofte uden lyd eller med et gættet lydspor. Dub dem med den dialog og atmosfære, scenen faktisk har brug for.
Dårlig lyd fra optagestedet
ByteDance nævner forbedring af lyd i lav kvalitet som en anvendelse: indspil scenen på ny i stedet for at kæmpe med støjen.
Korte dramaer og serier
Hold en rolles stemme ens fra afsnit til afsnit ved at bruge det samme referenceklip.
Reklamer og promoveringsvideoer
Time speak, produktlyd og musikalsk accent til billedet, og skift sprog til næste marked.
Sådan dubber du en video med Seed Audio 1.5
Gør klippet klar
MP4 eller MOV, 4 til 360 sekunder, 480p til 1080p, op til 200 MB. Dub den endelige klipning: ændrer klippet sig, ændrer timingen sig også.
Skriv det, der skal høres
Replikker i anførselstegn, en kort beskrivelse af hver stemme, derefter effekterne og musikken. Modellen finder ikke selv på dialog, så alt, der skal siges, skal stå i prompten.
Lås timingen, hvor det tæller
Brug tidsstempler som [2.0s:6.5s] til replikker og effekter, der skal ramme et klip. Resten overlader du til modellen.
Tilføj en stemmereference, hvis det er nødvendigt
Op til seks klip på 2 til 30 sekunder hver. Brug det samme klip, hver gang en rolle taler.
Eksempler på prompts
ByteDances promptguide anbefaler: hvad der høres, hvordan det lyder, og hvad der ikke må være med. Prompterne er på engelsk, fordi modellen følger engelske anvisninger bedst.
To personer på en regnvåd gade
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Hver taler får en beskrivelse på én linje og en følelse før replikken.
Et produktklip med præcis timing
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Tidsstempler sørger for, at klikket falder på det billede, hvor låget åbnes.
Inden du går i gang
- Modellen skriver ikke manuskriptet. En video uden beskrivelse i prompten får ingen planlagt dialog.
- Den laver kun lyd. Mundbevægelser på skærmen ændres ikke, så dialog fungerer bedst i totalbilleder, på bagsiden af hoveder, i speak og i animation.
- Én forespørgsel kan give op til 6 minutters lyd. Dub længere film scene for scene.
- Brug kun stemmereferencer med talerens tilladelse.
Ofte stillede spørgsmål om AI-dubbing af video
Hvad er AI-dubbing af video?
At generere en vidos lydspor med AI: dialog, voice-over, lydeffekter og musik, timet efter det, der sker på skærmen. Med Seed Audio 1.5 beskriver du lyden, og modellen laver den i ét hug.
Skriver Seed Audio 1.5 dialogen for mig?
Nej. ByteDance understreger, at den ikke dubber automatisk. Du leverer replikkerne og en beskrivelse af lyden. Modellen fremfører og timer dem.
Kan dubbingen bruge en bestemt stemme?
Ja. Tilføj et referenceklip på 2 til 30 sekunder, så bliver replikkerne talt med den stemme, mens videoen styrer timingen. Op til seks referencer kan bruges i én forespørgsel.
Kan jeg dubbe på andre sprog end engelsk?
Ja. Seed Audio 1.5 taler 30 sprog, fra dansk, japansk og koreansk til polsk, tyrkisk og hindi.
Hvad er forskellen på dubbing og videooversættelse?
Dubbing skaber et nyt lydspor ud fra din beskrivelse. Videooversættelse tager tale, der allerede findes på engelsk eller kinesisk, og indtaler den på et andet sprog med samme stemme.
Relateret
Giv din scene den lyd, den har brug for
Skriv replikkerne, beskriv rummet, og lad billedet bestemme timingen.
Dub en video