Dubbing video AI yang mengikuti gambar
Suara, efek suara, dan musik dari satu deskripsi
Kebanyakan alat suara AI hanya membacakan teks tanpa melihat gambar, sehingga Anda harus menyesuaikannya sendiri dengan editan. Seed Audio 1.5 menonton videonya. Jelaskan siapa yang bicara, apa yang diucapkan, bagaimana suasana ruangan terdengar, dan apa yang dilakukan musik, lalu Anda mendapat satu soundtrack yang waktunya pas dengan apa yang tampil di layar. Anda juga bisa membuat dubbing dalam bahasa Indonesia.
Anda menulis dialognya. Model membawakannya lengkap dengan efek suara dan musik, selaras dengan gambar.
Tiga cara melakukan dubbing
ByteDance mendokumentasikan tiga mode video. Pilih sesuai seberapa besar kendali yang Anda butuhkan atas suara.
Video dan deskripsi
Model membaca adegan lalu mengisi suaranya berdasarkan teks Anda: dialog, jenis suara, efek suara, dan latar musik.
Video, deskripsi, dan suara referensi
Tambahkan klip referensi, dan dialog akan diucapkan dengan suara itu. Video menentukan timing, referensi menentukan warna suara.
Terjemahkan ucapan yang sudah ada
Jika video sudah berisi ucapan dalam bahasa Inggris atau Mandarin, terjemahkan saja dan pertahankan suara asli pembicaranya.
Kapan dubbing paling berguna
Footage buatan AI
Klip dari model video sering kali bisu atau datang dengan soundtrack tebakan. Beri dubbing berupa dialog dan atmosfer yang memang dibutuhkan adegan.
Suara lokasi yang buruk
ByteDance mencantumkan perbaikan audio berkualitas rendah sebagai salah satu kegunaan: rekam ulang adegan dengan bersih, daripada bergulat dengan noise.
Drama pendek dan serial
Jaga suara karakter tetap sama dari episode ke episode dengan memakai klip referensi yang sama.
Iklan dan promo
Sesuaikan voice-over, suara produk, dan aksen musik dengan frame yang tepat, lalu ganti bahasanya untuk pasar berikutnya.
Cara dubbing video dengan Seed Audio 1.5
Siapkan hasil editan
MP4 atau MOV, durasi 4 sampai 360 detik, resolusi 480p sampai 1080p, maksimal 200 MB. Lakukan dubbing pada editan final: jika potongan berubah, timing ikut berubah.
Tulis apa yang terdengar
Dialog dalam tanda kutip, deskripsi singkat tiap suara, lalu efek suara dan musik. Model tidak mengarang dialog, jadi semua yang harus diucapkan harus ada di prompt.
Kunci timing di bagian penting
Gunakan timestamp seperti [2.0s:6.5s] untuk dialog dan efek yang harus jatuh tepat pada pergantian shot. Sisanya serahkan ke model.
Tambahkan suara referensi jika perlu
Hingga enam klip berdurasi 2 sampai 30 detik. Pakai klip yang sama setiap kali karakter itu berbicara.
Contoh prompt
Panduan prompt ByteDance menyarankan: apa yang terdengar, bagaimana bunyinya, dan apa yang tidak boleh ada. Prompt tetap dalam bahasa Inggris karena model paling paham arahan dalam bahasa itu.
Dua orang di jalan saat hujan
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Setiap pembicara mendapat deskripsi satu baris dan emosi sebelum dialognya.
Shot produk dengan timing presisi
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Timestamp menjaga bunyi klik tepat di frame saat tutupnya terbuka.
Sebelum mulai
- Model tidak menulis naskah. Video tanpa deskripsi di prompt tidak akan mendapat dialog yang direncanakan.
- Model hanya membuat audio. Gerak bibir di layar tidak diubah, jadi dialog paling cocok untuk wide shot, tampak belakang kepala, narasi, dan animasi.
- Satu permintaan maksimal 6 menit audio; film yang lebih panjang di-dubbing per adegan.
- Gunakan suara referensi hanya dengan izin pemilik suara.
Tanya jawab dubbing video AI
Apa itu dubbing video AI?
Pembuatan soundtrack video dengan AI: dialog, voice-over, efek suara, dan musik, yang waktunya disesuaikan dengan kejadian di layar. Dengan Seed Audio 1.5, Anda menjelaskan suaranya dan model menghasilkannya sekaligus dalam satu proses.
Apakah Seed Audio 1.5 menulis dialognya untuk saya?
Tidak. ByteDance menegaskan bahwa model ini tidak melakukan dubbing otomatis. Anda menyediakan dialog dan deskripsi suara; model yang membawakan dan mengatur waktunya.
Bisakah dubbing memakai suara tertentu?
Bisa. Tambahkan klip referensi berdurasi 2 sampai 30 detik, dan dialog akan diucapkan dengan suara itu, sementara video mengatur timing-nya. Hingga enam referensi dapat dipakai dalam satu permintaan.
Bisakah dubbing dalam bahasa selain Inggris?
Bisa. Seed Audio 1.5 berbicara dalam 30 bahasa, dari Jepang dan Korea sampai Polandia, Turki, dan Hindi.
Apa bedanya dubbing dengan terjemahan video?
Dubbing membuat soundtrack baru dari deskripsi Anda. Terjemahan video mengambil ucapan yang sudah ada dalam bahasa Inggris atau Mandarin, lalu mengisi ulang suaranya dalam bahasa lain dengan suara yang sama.
Terkait
Beri adegan Anda suara yang dibutuhkan
Tulis dialognya, jelaskan suasana ruangannya, dan biarkan gambar yang mengatur timing-nya.
Dubbing video