Dubbing wideo AI, który podąża za obrazem
Głosy, efekty dźwiękowe i muzyka z jednego opisu
Większość narzędzi AI do generowania głosu czyta tekst w próżni, a dopasowanie do montażu zostawia Tobie. Seed Audio 1.5 patrzy na wideo. Opisz, kto mówi, co mówi, jak brzmi pomieszczenie i co robi muzyka, a otrzymasz jedną ścieżkę dźwiękową zgraną z tym, co widać na ekranie. Kwestie możesz pisać także po polsku.
Ty piszesz kwestie. Model je wykonuje, razem z efektami i muzyką, w rytm obrazu.
Trzy sposoby na dubbing
ByteDance opisuje trzy tryby pracy z wideo. Wybierz ten, który daje tyle kontroli nad głosem, ile potrzebujesz.
Wideo i opis
Model analizuje scenę i podkłada głos na podstawie Twojego tekstu: kwestii, rodzaju głosu, efektów i podkładu muzycznego.
Wideo, opis i głos
Dodaj próbkę referencyjną, a kwestie zostaną wypowiedziane tym głosem. Wideo wyznacza tempo, próbka decyduje o barwie.
Przetłumacz to, co już jest
Jeśli w wideo jest już mowa po angielsku lub chińsku, przetłumacz ją i zachowaj głos mówiącego.
Gdzie dubbing naprawdę się przydaje
Materiał wygenerowany przez AI
Klipy z modeli wideo często powstają bez dźwięku albo z przypadkową ścieżką. Dodaj do nich dialogi i atmosferę, których scena naprawdę potrzebuje.
Kiepski dźwięk z planu
ByteDance wymienia poprawę słabej jakości audio jako jedno z zastosowań: zamiast walczyć z szumem, nagraj scenę na nowo, czysto.
Krótkie dramy i seriale
Zachowaj ten sam głos postaci w każdym odcinku, używając za każdym razem tej samej próbki referencyjnej.
Reklamy i zwiastuny
Zgraj z klatką lektora, dźwięk produktu i akcent muzyczny, a potem zmień język na kolejny rynek.
Jak zrobić dubbing wideo w Seed Audio 1.5
Przygotuj gotowy montaż
MP4 lub MOV, od 4 do 360 sekund, od 480p do 1080p, do 200 MB. Dubbinguj finalną wersję: jeśli zmieni się montaż, zmieni się też timing.
Opisz to, co ma być słychać
Kwestie w cudzysłowie, krótki opis każdego głosu, potem efekty i muzyka. Model nie wymyśla dialogów, więc wszystko, co ma zostać powiedziane, musi znaleźć się w prompcie.
Ustal czas tam, gdzie ma znaczenie
Użyj znaczników czasowych, np. [2.0s:6.5s], przy kwestiach i efektach, które muszą trafić w cięcie. Resztę zostaw modelowi.
W razie potrzeby dodaj próbkę głosu
Do sześciu próbek, każda od 2 do 30 sekund. Gdy mówi ta sama postać, używaj za każdym razem tej samej próbki.
Przykładowe prompty
Poradnik ByteDance do promptów zaleca opisać: co słychać, jak to brzmi i czego ma nie być. Prompty zostają po angielsku, bo model najlepiej rozumie angielskie wskazówki reżyserskie.
Dwoje ludzi na deszczowej ulicy
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Każdy mówiący dostaje jednozdaniowy opis i emocję przed kwestią.
Ujęcie produktu z dokładnym timingiem
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Znaczniki czasowe sprawiają, że kliknięcie wypada dokładnie w klatce, w której otwiera się wieczko.
Zanim zaczniesz
- Model nie pisze scenariusza. Jeśli w prompcie nie ma opisu, nie powstanie żaden zaplanowany dialog.
- Model tworzy wyłącznie dźwięk. Ruch ust na ekranie się nie zmienia, więc dialogi najlepiej sprawdzają się w ujęciach ogólnych, przy postaciach od tyłu, w narracji i animacji.
- Jedno zapytanie obejmuje do 6 minut dźwięku; dłuższe filmy dubbinguj scena po scenie.
- Próbek głosu używaj wyłącznie za zgodą osoby, do której należy głos.
Dubbing wideo AI – najczęstsze pytania
Czym jest dubbing wideo z AI?
To generowanie ścieżki dźwiękowej do wideo za pomocą AI: dialogów, lektora, efektów dźwiękowych i muzyki, zgranych z tym, co dzieje się na ekranie. W Seed Audio 1.5 opisujesz dźwięk, a model tworzy go za jednym razem.
Czy Seed Audio 1.5 napisze dialogi za mnie?
Nie. ByteDance wyraźnie zaznacza, że model nie robi dubbingu automatycznie. Ty podajesz kwestie i opis dźwięku, a model je wykonuje i zgrywa w czasie.
Czy dubbing może używać konkretnego głosu?
Tak. Dodaj próbkę referencyjną o długości od 2 do 30 sekund, a kwestie zostaną wypowiedziane tym głosem, podczas gdy czas wyznacza wideo. W jednym zapytaniu można użyć do sześciu próbek.
Czy mogę zrobić dubbing w innym języku niż angielski?
Tak. Seed Audio 1.5 mówi w 30 językach, od japońskiego i koreańskiego po polski, turecki i hindi.
Czym dubbing różni się od tłumaczenia wideo?
Dubbing tworzy nową ścieżkę dźwiękową na podstawie Twojego opisu. Tłumaczenie wideo bierze istniejącą mowę po angielsku lub chińsku i podkłada ją w innym języku tym samym głosem.
Zobacz także
Nadaj swojej scenie potrzebny dźwięk
Napisz kwestie, opisz pomieszczenie, a timing zostaw obrazowi.
Zrób dubbing wideo