دبلجة الفيديو بالذكاء الاصطناعي، بصوت يتبع الصورة
أصوات ومؤثرات وموسيقى من وصف واحد
تقرأ معظم أدوات الصوت بالذكاء الاصطناعي النص في فراغ، وتترك لك مهمة مزامنته مع المونتاج. أما Seed Audio 1.5 فيشاهد الفيديو. صف من يتكلم، وماذا يقول، وكيف يبدو صوت المكان، وماذا تفعل الموسيقى، فيعيد لك مسارًا صوتيًا واحدًا متزامنًا مع ما يظهر على الشاشة.
أنت تكتب الحوار، والنموذج يؤديه مع المؤثرات والموسيقى بتوقيت يطابق الصورة. ويمكنك الدبلجة بالعربية أيضًا.
ثلاث طرق للدبلجة
توثّق ByteDance ثلاثة أوضاع للفيديو. اختر منها بحسب مقدار التحكم الذي تريده في الصوت.
فيديو ووصف
يقرأ النموذج المشهد ويضيف إليه الصوت اعتمادًا على نصك: الحوار ونوع الصوت والمؤثرات وخلفية الموسيقى.
فيديو ووصف وصوت مرجعي
أضف مقطعًا مرجعيًا لتُنطق الجمل بذلك الصوت. الفيديو يحدد التوقيت، والمقطع المرجعي يحدد طابع الصوت.
ترجمة الكلام الموجود
إن كان في الفيديو كلام بالإنجليزية أو الصينية، فترجمه بدلًا من إعادة تسجيله، مع الإبقاء على صوت المتحدث نفسه.
متى تفيدك الدبلجة؟
لقطات مولَّدة بالذكاء الاصطناعي
كثيرًا ما تصل مقاطع نماذج الفيديو صامتة أو بصوت مُخمَّن. دبلجها بالحوار والأجواء التي يحتاجها المشهد فعلًا.
صوت ميداني رديء
تذكر ByteDance تحسين الصوت منخفض الجودة ضمن حالات الاستخدام: أعد تمثيل المشهد صوتيًا بوضوح بدل أن تصارع الضجيج.
الدراما القصيرة والمسلسلات
حافظ على صوت الشخصية ثابتًا من حلقة إلى أخرى باستخدام المقطع المرجعي نفسه.
الإعلانات والعروض الترويجية
اضبط التعليق الصوتي وصوت المنتج ونغمة الموسيقى على الإطار بالضبط، ثم غيّر اللغة للسوق التالي.
كيف تدبلج فيديو باستخدام Seed Audio 1.5
جهّز النسخة النهائية
MP4 أو MOV، من 4 إلى 360 ثانية، بدقة من 480p إلى 1080p، وبحجم حتى 200 ميغابايت. دبلج المونتاج النهائي: إذا تغيّر القطع تغيّر التوقيت.
اكتب ما يُسمع
ضع الجمل بين علامتي اقتباس، واكتب وصفًا قصيرًا لكل صوت، ثم المؤثرات والموسيقى. النموذج لا يؤلف حوارًا من عنده، لذا كل ما ينبغي أن يُقال يجب أن يكون في الوصف.
ثبّت التوقيت حيث يلزم
استخدم طوابع زمنية مثل [2.0s:6.5s] للجمل والمؤثرات التي يجب أن تقع على لقطة محددة. واترك الباقي للنموذج.
أضف صوتًا مرجعيًا عند الحاجة
حتى ستة مقاطع، مدة كل منها من 2 إلى 30 ثانية. استخدم المقطع نفسه كلما تكلمت الشخصية ذاتها.
أمثلة على الأوامر
يوصي دليل ByteDance بكتابة ثلاثة أشياء: ما يُسمع، وكيف يبدو، وما يجب ألا يكون موجودًا. تبقى الأوامر بالإنجليزية لأن النموذج يتبع التوجيهات الإنجليزية بدقة أكبر.
شخصان في شارع ماطر
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
كل متحدث يحصل على وصف من سطر واحد وعلى انفعال قبل جملته.
لقطة منتج بتوقيت دقيق
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
تُبقي الطوابع الزمنية صوت النقرة على الإطار الذي ينفتح فيه الغطاء.
قبل أن تبدأ
- النموذج لا يكتب السيناريو. الفيديو الذي لا يحمل وصفًا في الأمر لن يحصل على حوار مخطط له.
- النموذج ينتج الصوت فقط، ولا يغيّر حركة الفم على الشاشة. لذلك يعمل الحوار بأفضل شكل مع اللقطات العامة ولقطات الظهر والتعليق الصوتي والرسوم المتحركة.
- يتسع الطلب الواحد لما يصل إلى 6 دقائق من الصوت؛ الأفلام الأطول تُدبلج مشهدًا بمشهد.
- لا تستخدم الأصوات المرجعية إلا بإذن صاحب الصوت.
أسئلة شائعة عن دبلجة الفيديو بالذكاء الاصطناعي
ما هي دبلجة الفيديو بالذكاء الاصطناعي؟
هي توليد المسار الصوتي للفيديو بالذكاء الاصطناعي: حوار وتعليق صوتي ومؤثرات وموسيقى، بتوقيت يطابق ما يجري على الشاشة. مع Seed Audio 1.5 تصف الصوت المطلوب فينتجه النموذج دفعة واحدة.
هل يكتب Seed Audio 1.5 الحوار نيابةً عني؟
لا. تؤكد ByteDance صراحةً أنه لا يدبلج تلقائيًا. أنت تقدّم الجمل ووصف الصوت، والنموذج يؤديها ويضبط توقيتها.
هل يمكن أن تستخدم الدبلجة صوتًا محددًا؟
نعم. أضف مقطعًا مرجعيًا مدته من 2 إلى 30 ثانية فتُنطق الجمل بذلك الصوت، بينما يتحكم الفيديو في التوقيت. ويمكن استخدام ما يصل إلى ستة مراجع في الطلب الواحد.
هل يمكنني الدبلجة بلغات غير الإنجليزية؟
نعم. يتحدث Seed Audio 1.5 ثلاثين لغة، من اليابانية والكورية إلى البولندية والتركية والهندية.
ما الفرق بين الدبلجة وترجمة الفيديو؟
الدبلجة تنشئ مسارًا صوتيًا جديدًا من وصفك. أما ترجمة الفيديو فتأخذ كلامًا موجودًا أصلًا بالإنجليزية أو الصينية وتعيد نطقه بلغة أخرى وبالصوت نفسه.