Seed Audio 1.5: ترجمه و دوبله ویدیو با همان صدا
یک مدل برای صدا، افکت‌های صوتی و موسیقی، بر پایه خود ویدیوی شما
Seed Audio 1.5 مدل صوتی جدید ByteDance است. ویدیو را می‌گیرد، به آن گوش میدهد و یک ترک صوتی تازه می‌نویسد: همان گوینده‌ای که حالا ژاپنی صحبت میکند، دوبله‌ای که با تصویر هماهنگ است، یا صدا، موسیقی و افکتها در ترک‌هایی جدا از هم. ما در دسترسی اولیه با آن یک انیمیشن ۹ دقیقهای را به ۱۲ زبان ترجمه کردیم. در ادامه می‌بینید چه کرد، کجا لغزید و چطور می‌توانید به همین نتیجه برسید.
Doitong یک پلتفرم مستقل است و به ByteDance وابستگی ندارد.
آزمایش ما: یک فیلم، ۱۲ زبان، همان گوینده
ما «The Last Ordinary Day in Pompeii» را برداشتیم، یک فیلم تاریخی انیمیشنی ۹ دقیقهای با روایت انگلیسی، و برای هر زبان یک بار آن را با ترجمه ویدیوی Seed Audio 1.5 اجرا کردیم. ویدیو را پخش کنید و از مسیر تنظیمات ← آهنگ صوتی (Audio track) بین نسخه اصلی انگلیسی و ۱۲ ترجمه جابه‌جا شوید.
ترکهای صوتی این ویدیو: انگلیسی (اصلی) به‌اضافه روسی، آلمانی، فرانسوی، اسپانیایی (اسپانیا)، ایتالیایی، ژاپنی، کرهای، هلندی، سوئدی، دانمارکی، نروژی و فنلاندی.
- مدت فیلم
- 9:00
- زبان‌ها
- ۱۲
- زمان هر درخواست
- ۲٫۶ تا ۳٫۳ دقیقه
- اختلاف طول
- کمتر از ۰٫۰۳ ثانیه
آزمایش را چطور انجام دادیم
اعداد بالا از لاگ‌های خود ما آمده‌اند، نه از یک بیانیه خبری. اگر می‌خواهید آزمایش را تکرار کنید، سه نکته مهم است.
برش در یک مکث
هر درخواست ویدیویی بین ۴ تا ۳۶۰ ثانیه می‌پذیرد، پس فیلم ۹ دقیقهای را در یک مکث طبیعی به دو بخش 4:43 و 4:17 تقسیم کردیم. ۱۲ زبان یعنی ۲۴ درخواست، و هر کدام در ۱۵۷ تا ۲۰۰ ثانیه جواب داد.
طول ثابت ماند
هر بخش ترجمهشده دقیقاً به اندازه نسخه اصلی برگشت. بخش اول ۲۸۳٫۲۶ ثانیه در برابر ۲۸۳٫۲۹ ثانیه برای منبع، بخش دوم ۲۵۶٫۸۳ در برابر ۲۵۶٫۸۳، و اعداد در همه زبان‌ها یکسان بود. روایت جدید بدون نیاز به زمانبندی دوباره روی تصویر نشست.
فقط صدا را فرستادیم
روایت را بدون موسیقی به مدل دادیم و موسیقی و افکت‌های خودمان را بعداً دوباره میکس کردیم. حفظ موسیقی و افکتها در جریان ترجمه یکی از قابلیت‌های اعلام‌شده مدل است، اما این آزمایش به آن تکیه نکرد.
Seed Audio 1.5 چه کارهایی میکند
نسخه 1.5 نخستین مدل Seed Audio است که ویدیو را به‌عنوان ورودی می‌پذیرد. همین یک تغییر، بیشتر کارهای زیر را ممکن میکند.
ترجمه ویدیو با همان صدا
از انگلیسی یا چینی به ۳۰ زبان. صدا ویژگیهای گوینده را حفظ میکند و افکتها و موسیقی پس‌زمینه سر جایشان می‌مانند؛ فقط گفتار عوض میشود.
دوبله ویدیو از روی توضیح
یک ویدیو بدهید و بگویید چه چیزی باید شنیده شود: دیالوگ‌ها، صداها، افکتها، موسیقی. مدل صدایی می‌سازد که با تصویر هماهنگ است. متن را خودتان باید بدهید؛ مدل فیلمنامه نمی‌نویسد.
جداسازی صدا به ترکهای مجزا (استم)
یک فایل صوتی بدهید و صدای گوینده، افکتها و موسیقی را در ترکهای جداگانه تحویل بگیرید، تا شش ترک، آماده برای جلسه میکس.
صداگذاری کلیپ بی‌صدا
فضای محیط، صدای قدم، یک در، یک بستر موسیقی بخواهید و هر کدام را با زمانبندی در پرامپت روی تایم‌لاین بگذارید.
شبیه‌سازی صدا
تا شش کلیپ مرجع، هرکدام ۲ تا ۳۰ ثانیه، رنگ صدا را تعیین می‌کنند. مرجع را با ویدیو ترکیب کنید تا دوبله با همان صدا گفته شود.
نوشتن آهنگ با متن ترانه
موسیقی تا شش دقیقه از روی یک توضیح متنی، با ترانه‌ای که به انگلیسی، چینی، ژاپنی، کرهای یا کانتونی خوانده میشود.
محدودیت‌های Seed Audio 1.5
محدودیت‌ها از راهنمای یکپارچه‌سازی دسترسی اولیه ByteDance آمده‌اند. پیش از برش ویدیو آن‌ها را بررسی کنید.
| ورودی | محدودیت |
|---|---|
| مدت ویدیو | ۴ تا ۳۶۰ ثانیه در هر درخواست |
| فرمت ویدیو | MP4، MOV |
| رزولوشن ویدیو | 480p، 720p یا 1080p |
| حجم فایل ویدیو | تا ۲۰۰ مگابایت |
| کلیپ‌های مرجع صدا | تا ۶ کلیپ، هرکدام ۲ تا ۳۰ ثانیه، در مجموع ۱۸۰ ثانیه |
| صدا برای جداسازی استم | یک فایل، ۲ تا ۳۶۰ ثانیه، حداکثر ۹۰ مگابایت، WAV یا MP3 |
| خروجی | مقدار |
|---|---|
| طولانی‌ترین صدا در هر درخواست | ۶ دقیقه |
| ترکهای استم | تا ۶ |
| فرمت‌ها | WAV (پیش‌فرض)، MP3، PCM، OGG Opus |
| نرخ نمونه‌برداری پیش‌فرض | ۴۴٫۱ کیلوهرتز |
| زبان‌های گفتار | ۳۰ |
| زبان مبدأ در ترجمه ویدیو | انگلیسی یا چینی، یا تشخیص خودکار |
منبع: راهنمای یکپارچه‌سازی دسترسی اولیه Seed Audio 1.5 از ByteDance، اکتبر ۲۰۲۶. ممکن است محدودیت‌ها پس از انتشار تغییر کنند.
۳۰ زبان
Seed Audio 1.5 به این زبان‌ها صحبت میکند. ترجمه ویدیو از انگلیسی یا چینی به هر کدام از آن‌ها انجام میشود.
ترانه در آهنگ‌ها فقط برای مجموعه کوچک‌تری پشتیبانی میشود: انگلیسی، چینی، ژاپنی، کرهای و کانتونی.
پرامپت‌هایی که جواب می‌دهند
راهنمای پرامپت ByteDance سه سطح دارد: توضیح ساده، متنی که ترتیب رویدادها را مشخص میکند، و تایم‌لاین با ثانیه‌های دقیق. از توضیح ساده شروع کنید و زمانبندی را فقط جایی اضافه کنید که اهمیت دارد. پرامپت‌ها را انگلیسی نگه داشته‌ایم، چون مدل دستورهای انگلیسی را بهتر دنبال میکند.
یک روایت ساده
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
اول محدودیت‌ها، بعد صدا، بعد کلمات دقیق. گفتن اینکه چه چیزی نباید بیاید به اندازه گفتن آنچه باید بیاید اهمیت دارد.
یک صحنه زمان‌بندی‌شده
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
زمانبندی هر صدا را روی تایم‌لاین می‌نشاند، پس صدا با برش‌هایی که از قبل زده‌اید هم‌خوان میشود.
نکاتی که باید حواستان به آن‌ها باشد
مواردی که در آزمایش با آن‌ها روبه‌رو شدیم و مواردی که مستندات صریحاً درباره‌شان می‌گوید.
- نام‌ها و کلمات کم‌کاربرد ممکن است از یک خروجی به خروجی دیگر تغییر کنند. در ترجمه روسی دومین فیلم آزمایشی ما، که در لندن سال ۱۶۶۶ می‌گذرد، واژه قدیمی قایق رودخانه‌ای تایمز اشتباه درآمد و نام یکی از شخصیت‌ها شکل دیگری گرفت. ترجمه ویدیو واژه‌نامه (glossary) می‌پذیرد؛ پیش از اجرا نام‌ها را در آن بنویسید.
- دوبله به توضیح نیاز دارد. Seed Audio 1.5 خودش دیالوگ نمی‌نویسد؛ باید بگویید چه گفته میشود و چه شنیده میشود.
- مدل صدا می‌سازد، نه حرکت لب. صدای ترجمهشده زمانبندی نسخه اصلی را حفظ میکند، اما دهان‌ها در تصویر دوباره ترسیم نمی‌شوند.
- هر درخواست تا ۶ دقیقه را پوشش میدهد. ویدیوهای بلندتر باید تقسیم شوند و برش وسط جمله شنیده میشود، پس در یک مکث ببرید.
- ترجمه ویدیو از انگلیسی یا چینی شروع میشود. ویدیو به زبان دیگر را نمی‌توان مستقیم ترجمه کرد.
- فقط صدایی را شبیه‌سازی کنید که حق استفاده از آن را دارید.
پرسش‌های متداول درباره Seed Audio 1.5
آیا Seed Audio 1.5 میتواند ویدیو را به فارسی ترجمه یا دوبله کند؟
هنوز نه. فارسی جزو ۳۰ زبانی نیست که Seed Audio 1.5 در زمان انتشار به آن‌ها صحبت میکند. ویدیوی انگلیسی یا چینی را می‌توانید به زبانهایی ترجمه کنید که مخاطب فارسی‌زبان احتمالاً به آن‌ها هم نیاز دارد، مثل عربی، ترکی، روسی، هندی و آلمانی.
Seed Audio 1.5 چیست؟
Seed Audio 1.5 یک مدل تولید صدا از ByteDance است که در ۲۸ اکتبر ۲۰۲۶ منتشر شد. گفتار، افکت صوتی و موسیقی را یک‌جا می‌سازد و نخستین نسخه Seed Audio است که ویدیو را به‌عنوان ورودی می‌پذیرد؛ همین باعث میشود دوبله ویدیو و ترجمه ویدیو با همان صدا ممکن شود.
آیا Seed Audio 1.5 ویدیو را با همان صدا ترجمه میکند؟
بله. ترجمه ویدیو گفتار را به زبان دیگر بازگو میکند، ویژگیهای صدای گوینده را نگه میدارد و افکتها و موسیقی اصلی را هم حفظ میکند. در آزمایش ما یک روایت انگلیسی ۹ دقیقهای به ۱۲ زبان برگشت و طول هر نسخه با اصل یکی بود.
Seed Audio 1.5 از چه زبانهایی پشتیبانی میکند؟
۳۰ زبان برای گفتار، از جمله انگلیسی، چینی، ژاپنی، کرهای، اسپانیایی (اسپانیا و مکزیک)، پرتغالی (برزیل و پرتغال)، آلمانی، فرانسوی، روسی، عربی و هندی. ترجمه ویدیو از انگلیسی یا چینی به هر کدام از این ۳۰ زبان انجام میشود.
ویدیو تا چند دقیقه میتواند باشد؟
هر درخواست ویدیویی بین ۴ تا ۳۶۰ ثانیه، تا ۲۰۰ مگابایت و با کیفیت 480p، 720p یا 1080p می‌پذیرد. برای فیلم بلندتر، آن را در مکث‌ها تقسیم کنید و بخش‌ها را یکی‌یکی ترجمه کنید، همان‌طور که با فیلم ۹ دقیقهای پمپئی کردیم.
ترجمه چقدر طول می‌کشد؟
در اجراهای ما، هر بخش حدود چهار دقیقه و نیم برای هر زبان بین ۱۵۷ تا ۲۰۰ ثانیه طول کشید.
آیا Seed Audio 1.5 لیپسینک انجام میدهد؟
نه. این مدل صدا تولید میکند. صدای ترجمهشده زمانبندی نسخه اصلی را دنبال میکند، اما خود ویدیو، از جمله حرکت دهان، تغییری نمیکند.
آیا میتواند صدای خواننده، موسیقی و افکتها را از هم جدا کند؟
بله. یک فایل صوتی تا ۶ دقیقه بدهید تا صدا، افکتها و موسیقی را در ترکهای جدا برگرداند، تا شش ترک در مجموع.
نسبت به Seed Audio 1.0 چه چیزی تغییر کرده است؟
Seed Audio 1.5 ورودی ویدیو را اضافه کرده که دوبله ویدیو و ترجمه ویدیو را ممکن میکند. همچنین جداسازی استم و موسیقی تا ۶ دقیقه را اضافه کرده، تا شش کلیپ مرجع صدا می‌پذیرد، در هر درخواست تا ۶ دقیقه صدا می‌سازد و به ۳۰ زبان صحبت میکند.
آیا Seed Audio 1.5 همان Seed Audio 2.0 است؟
بعضی سایتها مدل در راه را Seed Audio 2.0 مینامند. مستندات دسترسی اولیه ByteDance آن را Seed Audio 1.5 مینامد و ما هم همین نام را به کار میبریم.
آیا Doitong به ByteDance وابسته است؟
نه. Doitong یک پلتفرم مستقل ویدیوی هوش مصنوعی است. ما به Seed Audio 1.5 دسترسی اولیه داشتیم و اینجا نتایج خودمان را شرح می‌دهیم.
با Seed Audio 1.5 چه کارهایی می‌توانید بکنید
به ویدیوی خود صدایی به زبانی دیگر بدهید
با یک کلیپ کوتاه شروع کنید، نام‌ها را بررسی کنید، بعد کل فیلم را اجرا کنید.
شروع در Doitong