Alih suara video AI yang mengikut visual
Suara, kesan bunyi dan muzik daripada satu huraian
Kebanyakan alat suara AI hanya membaca teks tanpa melihat video, lalu anda perlu menyelaraskannya sendiri dengan suntingan. Seed Audio 1.5 menonton videonya. Huraikan siapa yang bercakap, apa yang dikatakan, bagaimana bunyi persekitaran dan apa yang dilakukan muzik, dan ia memulangkan satu runut bunyi yang sepadan dengan apa yang ada di skrin. Anda juga boleh menghasilkan alih suara dalam bahasa Melayu.
Anda tulis dialognya. Model melafazkannya, lengkap dengan kesan bunyi dan muzik, selari dengan visual.
Tiga cara alih suara
ByteDance mendokumenkan tiga mod video. Pilih mengikut tahap kawalan yang anda perlukan terhadap suara.
Video dan huraian
Model membaca babak tersebut dan mengisi suaranya berdasarkan teks anda: dialog, jenis suara, kesan bunyi dan muzik latar.
Video, huraian dan suara
Tambah klip rujukan dan dialog akan dituturkan dalam suara tersebut. Video menentukan pemasaan, klip rujukan menentukan warna suara.
Terjemah apa yang sedia ada
Jika video sudah mengandungi pertuturan dalam bahasa Inggeris atau Cina, terjemahkannya dan kekalkan suara asal penutur.
Bila alih suara paling berguna
Rakaman janaan AI
Klip daripada model video selalunya tiada bunyi atau hanya mempunyai runut bunyi yang diteka. Alih suaranya dengan dialog dan suasana yang benar-benar diperlukan oleh babak itu.
Bunyi lokasi yang teruk
ByteDance menyenaraikan penambahbaikan audio berkualiti rendah sebagai satu kegunaan: lakonkan semula babak dengan bersih, bukannya bergelut dengan bunyi bising.
Drama pendek dan siri
Kekalkan suara watak yang sama dari episod ke episod dengan menggunakan semula klip rujukan yang sama.
Iklan dan promosi
Selaraskan suara latar, bunyi produk dan sting muzik tepat pada bingkai, kemudian tukar bahasa untuk pasaran seterusnya.
Cara alih suara video dengan Seed Audio 1.5
Sediakan suntingan
MP4 atau MOV, 4 hingga 360 saat, 480p hingga 1080p, sehingga 200 MB. Alih suara suntingan akhir: jika suntingan berubah, pemasaan turut berubah.
Tulis apa yang didengari
Dialog dalam tanda petik, huraian ringkas bagi setiap suara, kemudian kesan bunyi dan muzik. Model tidak mereka dialog, jadi semua yang perlu dituturkan mesti ada dalam prompt.
Tetapkan pemasaan di tempat yang penting
Gunakan cap masa seperti [2.0s:6.5s] untuk dialog dan kesan bunyi yang mesti tepat pada potongan. Selebihnya serahkan kepada model.
Tambah rujukan suara jika perlu
Sehingga enam klip, setiap satu 2 hingga 30 saat. Gunakan klip yang sama setiap kali watak itu bercakap.
Contoh prompt
Panduan prompt ByteDance mengesyorkan: apa yang didengari, bagaimana bunyinya, dan apa yang tidak boleh ada. Prompt ditulis dalam bahasa Inggeris kerana model mengikut arahan Inggeris dengan paling baik.
Dua orang di jalan ketika hujan
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Setiap penutur diberi huraian satu baris dan emosi sebelum dialognya.
Syot produk dengan pemasaan tepat
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Cap masa memastikan bunyi klik jatuh tepat pada bingkai ketika penutup dibuka.
Sebelum anda mula
- Model tidak menulis skrip. Video tanpa huraian dalam prompt tidak akan mendapat dialog yang dirancang.
- Ia hanya menghasilkan audio. Pergerakan mulut di skrin tidak diubah, jadi dialog paling sesuai untuk syot jauh, syot belakang kepala, narasi dan animasi.
- Satu permintaan boleh mencapai 6 minit audio; alih suara filem yang lebih panjang babak demi babak.
- Gunakan rujukan suara hanya dengan kebenaran penutur.
Soalan lazim tentang alih suara video AI
Apakah alih suara video AI?
Menjana runut bunyi sesebuah video dengan AI: dialog, suara latar, kesan bunyi dan muzik, diselaraskan dengan apa yang berlaku di skrin. Dengan Seed Audio 1.5, anda menghuraikan bunyinya dan model menghasilkannya sekali gus.
Adakah Seed Audio 1.5 menulis dialog untuk saya?
Tidak. ByteDance menyatakan dengan jelas bahawa ia tidak melakukan alih suara secara automatik. Anda menyediakan dialog dan huraian bunyi; model melafazkan serta menetapkan pemasaannya.
Bolehkah alih suara menggunakan suara tertentu?
Boleh. Tambah klip rujukan 2 hingga 30 saat dan dialog akan dituturkan dalam suara itu, manakala video mengawal pemasaan. Sehingga enam rujukan boleh digunakan dalam satu permintaan.
Bolehkah saya membuat alih suara dalam bahasa selain bahasa Inggeris?
Boleh. Seed Audio 1.5 menuturkan 30 bahasa, termasuk bahasa Melayu, Jepun, Korea, Poland, Turki dan Hindi.
Apakah perbezaan antara alih suara dengan terjemahan video?
Alih suara mencipta runut bunyi baharu berdasarkan huraian anda. Terjemahan video mengambil pertuturan sedia ada dalam bahasa Inggeris atau Cina dan menyuarakannya semula dalam bahasa lain dengan suara yang sama.
Berkaitan
Berikan babak anda bunyi yang diperlukan
Tulis dialognya, huraikan suasananya, dan biarkan visual menentukan pemasaan.
Alih suara video