Seed Audio 1.5: תרגום ודיבוב וידאו באותו קול
מודל אחד לקול, לאפקטים ולמוזיקה, שפועל לפי הוידאו שלכם
Seed Audio 1.5 הוא מודל האודיו החדש של ByteDance. הוא מקבל סרטון, מאזין לו וכותב לו פס קול חדש: אותו קריין מדבר יפנית, דיבוב שעוקב אחרי התמונה, או קול, מוזיקה ואפקטים שמופרדים לערוצים נפרדים. בגישה מוקדמת השתמשנו בו כדי לתרגם סרט אנימציה בן 9 דקות ל-12 שפות. כאן תמצאו מה הוא עשה, איפה הוא החליק ואיך להגיע לאותה תוצאה.
Doitong היא פלטפורמה עצמאית ואינה קשורה ל-ByteDance.
הבדיקה שלנו: סרט אחד, 12 שפות, אותו קריין
לקחנו את “The Last Ordinary Day in Pompeii”, סרט היסטוריה מצויר בן 9 דקות עם קריינות באנגלית, והרצנו אותו בתרגום הוידאו של Seed Audio 1.5 פעם אחת לכל שפה. הפעילו את הסרטון ופתחו הגדרות ← רצועת אודיו כדי לעבור בין המקור באנגלית לבין 12 התרגומים.
רצועות האודיו בסרטון: אנגלית (מקור), וכן רוסית, גרמנית, צרפתית, ספרדית (ספרד), איטלקית, יפנית, קוריאנית, הולנדית, שוודית, דנית, נורווגית ופינית.
- אורך הסרט
- 9:00
- שפות
- 12
- זמן לכל בקשה
- 2.6–3.3 דקות
- הפרש באורך
- פחות מ-0.03 שניות
איך ערכנו את הבדיקה
המספרים שלמעלה לקוחים מהלוגים שלנו, לא מהודעה לעיתונות. שלושה פרטים חשובים אם רוצים לחזור על הבדיקה.
חותכים בהפסקה
בקשה אחת מקבלת סרטון באורך 4 עד 360 שניות, ולכן הסרט בן 9 הדקות נכנס בשני חלקים שנחתכו בהפסקה טבעית: 4:43 ו-4:17. שתים-עשרה שפות פירושן 24 בקשות, וכל אחת חזרה תוך 157 עד 200 שניות.
האורך נשמר
כל חלק מתורגם חזר באורך המקור. החלק הראשון חזר ב-283.26 שניות לעומת 283.29 במקור, השני ב-256.83 לעומת 256.83, והנתונים היו זהים בכל השפות. הקריינות החדשה נפלה על התמונה בלי תזמון מחדש.
שלחנו את הקול בלבד
הזנו למודל את הקריינות בלי מוזיקה, ואת פס הקול והאפקטים שלנו מיקסנו בחזרה אחר כך. שמירה על מוזיקה ואפקטים בתוך התרגום היא יכולת מוצהרת של המודל, אבל הבדיקה הזו לא נשענה עליה.
מה Seed Audio 1.5 יודע לעשות
גרסה 1.5 היא מודל Seed Audio הראשון שמקבל וידאו. שינוי אחד זה פותח את רוב המשימות שלהלן.
תרגום וידאו באותו קול
מאנגלית או מסינית ל-30 שפות. הקול שומר על אופי הדובר, והאפקטים והמוזיקה המקוריים נשארים במקומם ורק הדיבור מתחלף.
דיבוב וידאו לפי תיאור
מזינים סרטון ומתארים מה צריך להישמע: הטקסט, הקולות, האפקטים, המוזיקה. המודל כותב אודיו שעוקב אחרי התמונה. את התסריט הוא לא ממציא בשבילכם.
הפרדת אודיו לערוצים
מזינים קובץ אודיו ומקבלים בחזרה קולות, אפקטים ומוזיקה כערוצים נפרדים, עד שישה, מוכנים לסשן מיקס.
פס קול לקליפ אילם
מבקשים אווירה, צעדים, דלת, רקע מוזיקלי, וממקמים כל אחד על ציר הזמן בעזרת חותמות זמן בפרומפט.
שכפול קול
עד שישה קטעי ייחוס באורך 2 עד 30 שניות כל אחד קובעים את גוון הקול. משלבים קטע ייחוס עם סרטון, והדיבוב נאמר באותו קול.
כתיבת שירים עם מילים
מוזיקה באורך של עד שש דקות מתוך בריף טקסטואלי, עם מילים בשירה באנגלית, סינית, יפנית, קוריאנית או קנטונזית.
המגבלות של Seed Audio 1.5
המגבלות לקוחות ממדריך האינטגרציה של ByteDance לגישה המוקדמת. כדאי לבדוק אותן לפני שחותכים את הסרטון.
| קלט | מגבלה |
|---|---|
| אורך הסרטון | 4–360 שניות לבקשה |
| פורמטי וידאו | MP4, MOV |
| רזולוציית וידאו | 480p, 720p או 1080p |
| גודל קובץ הוידאו | עד 200 MB |
| קטעי ייחוס לקול | עד 6, בני 2–30 שניות כל אחד, 180 שניות בסך הכול |
| אודיו להפרדת ערוצים | קובץ אחד, 2–360 שניות, עד 90 MB, WAV או MP3 |
| פלט | ערך |
|---|---|
| האודיו הארוך ביותר לבקשה | 6 דקות |
| ערוצי הפרדה | עד 6 |
| פורמטים | WAV (ברירת מחדל), MP3, PCM, OGG Opus |
| קצב דגימה ברירת מחדל | 44.1 kHz |
| שפות לדיבור | 30 |
| שפת מקור לתרגום וידאו | אנגלית או סינית, או זיהוי אוטומטי |
מקור: מדריך האינטגרציה של ByteDance לגישה המוקדמת ל-Seed Audio 1.5, אוקטובר 2026. המגבלות עשויות להשתנות לאחר ההשקה.
30 שפות
Seed Audio 1.5 מדבר בשפות האלה. תרגום וידאו הולך מאנגלית או מסינית לכל אחת מהן.
מילים בשירים נתמכות במספר קטן יותר של שפות: אנגלית, סינית, יפנית, קוריאנית וקנטונזית.
פרומפטים שעובדים
מדריך הפרומפטים של ByteDance מתאר שלוש רמות: תיאור פשוט, תסריט שקובע את סדר האירועים, וציר זמן עם שניות מדויקות. התחילו בפשוט והוסיפו חותמות זמן רק איפה שהתזמון חשוב. הפרומפטים נשארים באנגלית, כי המודל מבין הנחיות בימוי באנגלית הכי טוב.
קריינות פשוטה
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
קודם המגבלות, אחר כך הקול, ואחר כך המילים המדויקות. חשוב לומר מה אסור שיופיע באותה מידה כמו מה צריך להופיע.
סצנה מתוזמנת
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
חותמות הזמן ממקמות כל צליל על ציר הזמן, כך שהאודיו מתיישר עם החיתוכים שכבר עשיתם.
על מה כדאי לשים לב
דברים שנתקלנו בהם בבדיקות, ודברים שהתיעוד ברור לגביהם.
- שמות ומילים נדירות יכולים להשתנות בין הרצות. בתרגום לרוסית של סרט הבדיקה השני שלנו, שמתרחש בלונדון ב-1666, המילה הישנה לסירת נהר בתמזה יצאה שגויה, ושמה של אחת הדמויות שינה צורה. תרגום וידאו מקבל מילון מונחים, אז רשמו בו את השמות לפני ההרצה.
- דיבוב דורש תיאור. Seed Audio 1.5 לא כותב טקסט בעצמו; צריך לומר לו מה נאמר ומה נשמע.
- הוא מייצר צליל, לא תנועות שפתיים. קול מתורגם שומר על התזמון של המקור, אבל הפיות על המסך לא מצוירים מחדש.
- בקשה אחת מכסה עד 6 דקות. סרטונים ארוכים יותר צריך לפצל, וחיתוך באמצע משפט נשמע, ולכן חותכים בהפסקה.
- תרגום וידאו יוצא מאנגלית או מסינית. סרטון בשפה אחרת לא ניתן לתרגום ישירות.
- שכפלו רק קולות שיש לכם זכות להשתמש בהם.
שאלות נפוצות על Seed Audio 1.5
האם Seed Audio 1.5 יכול לתרגם או לדבב סרטון לעברית?
עדיין לא. עברית אינה אחת מ-30 השפות ש-Seed Audio 1.5 מדבר בהן בעת ההשקה. סרטון באנגלית או בסינית אפשר לתרגם לשפות שקוראי עברית נזקקים להן לעיתים קרובות, כמו ערבית, רוסית, צרפתית, ספרדית וגרמנית.
מה זה Seed Audio 1.5?
Seed Audio 1.5 הוא מודל ליצירת אודיו של ByteDance, שהושק ב-28 באוקטובר 2026. הוא מפיק דיבור, אפקטים קוליים ומוזיקה במעבר אחד, והוא גרסת Seed Audio הראשונה שמקבלת וידאו, וזה מה שמאפשר דיבוב וידאו ותרגום וידאו באותו קול.
האם Seed Audio 1.5 מתרגם סרטון באותו קול?
כן. תרגום וידאו מקריין מחדש את הדיבור בשפה אחרת, שומר על אופי הקול של הדובר ומשאיר את האפקטים והמוזיקה המקוריים. בבדיקה שלנו קריינות באנגלית בת 9 דקות חזרה ב-12 שפות, כל אחת באורך המקור.
אילו שפות Seed Audio 1.5 תומך בהן?
30 שפות לדיבור, בהן אנגלית, סינית, יפנית, קוריאנית, ספרדית (ספרד ומקסיקו), פורטוגזית (ברזיל ופורטוגל), גרמנית, צרפתית, רוסית, ערבית והינדית. תרגום וידאו הולך מאנגלית או מסינית לכל אחת מ-30 השפות.
עד איזה אורך יכול להיות הסרטון?
בקשה אחת מקבלת סרטון של 4 עד 360 שניות, עד 200 MB, ברזולוציית 480p, 720p או 1080p. סרט ארוך יותר מפצלים בהפסקות ומתרגמים את החלקים בזה אחר זה, כפי שעשינו עם הסרט על פומפיי בן 9 הדקות.
כמה זמן לוקח תרגום?
בהרצות שלנו כל חלק באורך של כארבע דקות וחצי לקח בין 157 ל-200 שניות לכל שפה.
האם Seed Audio 1.5 מסנכרן שפתיים?
לא. הוא מייצר אודיו. הקול המתורגם עוקב אחרי התזמון של המקור, אבל הסרטון עצמו, כולל תנועת הפה, לא משתנה.
האם אפשר להפריד קול, מוזיקה ואפקטים?
כן. מזינים קובץ אודיו באורך של עד 6 דקות ומקבלים בחזרה קולות, אפקטים ומוזיקה כערוצים נפרדים, עד שישה בסך הכול.
מה השתנה לעומת Seed Audio 1.0?
Seed Audio 1.5 מוסיף קלט וידאו, שמאפשר דיבוב וידאו ותרגום וידאו. הוא גם מוסיף הפרדת ערוצים ומוזיקה באורך של עד 6 דקות, מקבל עד שישה קטעי ייחוס לקול, מפיק עד 6 דקות אודיו לבקשה ומדבר 30 שפות.
האם Seed Audio 1.5 הוא אותו דבר כמו Seed Audio 2.0?
חלק מהאתרים מציינים את המודל הקרוב בשם Seed Audio 2.0. התיעוד של ByteDance לגישה המוקדמת קורא לו Seed Audio 1.5, ובשם הזה אנחנו משתמשים.
האם Doitong קשורה ל-ByteDance?
לא. Doitong היא פלטפורמת וידאו עצמאית מבוססת AI. קיבלנו גישה מוקדמת ל-Seed Audio 1.5 ומתארים כאן את התוצאות שלנו.
מה אפשר לעשות עם Seed Audio 1.5
תנו לסרטון שלכם קול בשפה אחרת
מתחילים בקליפ קצר אחד, בודקים את השמות, ואז מריצים את הסרט כולו.
התחילו ב-Doitong