דיבוב וידאו ב-AI שעוקב אחרי התמונה
קולות, אפקטים ומוזיקה מתיאור אחד
רוב כלי הקול ב-AI מקריאים טקסט בחלל ריק ומשאירים לכם להתאים אותו לעריכה. Seed Audio 1.5 צופה בסרטון. תארו מי מדבר, מה הוא אומר, איך החדר נשמע ומה המוזיקה עושה, וקבלו פס קול אחד שמתוזמן למה שקורה על המסך.
אתם כותבים את המשפטים. המודל מבצע אותם, עם אפקטים ומוזיקה, בסנכרון עם התמונה.
שלוש דרכים לדבב
ByteDance מתעדת שלושה מצבי וידאו. בחרו לפי מידת השליטה שאתם צריכים בקול.
וידאו ותיאור
המודל קורא את הסצנה ומדבב אותה לפי הטקסט שלכם: המשפטים, סוג הקול, האפקטים ורקע המוזיקה.
וידאו, תיאור וקול
הוסיפו קליפ ייחוס והמשפטים יושמעו בקול הזה. הסרטון קובע את התזמון, וקליפ הייחוס קובע את גוון הקול.
תרגמו את מה שכבר קיים
אם בסרטון כבר יש דיבור באנגלית או בסינית, תרגמו אותו במקום לדבב מחדש, ושמרו על הקול של הדובר.
איפה דיבוב באמת משתלם
קטעי וידאו שנוצרו ב-AI
קליפים ממודלי וידאו מגיעים לעיתים קרובות אילמים או עם פס קול מנוחש. דבבו אותם עם הדיאלוג והאווירה שהסצנה באמת צריכה.
סאונד גרוע מהצילום בשטח
ByteDance מציינת שיפור של אודיו באיכות נמוכה כאחד משימושי המודל: במקום להיאבק ברעש, בצעו את הסצנה מחדש בצורה נקייה.
דרמות קצרות וסדרות
שמרו על אותו קול לדמות מפרק לפרק, באמצעות שימוש חוזר באותו קליפ ייחוס.
פרסומות וקדימונים
תזמנו את הקריינות, את צליל המוצר ואת האקורד המוזיקלי לפריים המדויק, ואז החליפו שפה לשוק הבא.
איך לדבב סרטון עם Seed Audio 1.5
הכינו את העריכה
MP4 או MOV, 4 עד 360 שניות, 480p עד 1080p, עד 200 MB. דבבו את העריכה הסופית: אם החיתוך משתנה, התזמון משתנה.
כתבו את מה שנשמע
המשפטים במרכאות, תיאור קצר של כל קול, ואחריהם האפקטים והמוזיקה. המודל לא ממציא דיאלוג, ולכן כל מה שצריך להישמע נכנס לפרומפט.
קבעו תזמון איפה שזה חשוב
השתמשו בחותמות זמן כמו [2.0s:6.5s] למשפטים ולאפקטים שחייבים ליפול על חיתוך. את השאר השאירו למודל.
הוסיפו קול ייחוס אם צריך
עד שישה קליפים של 2 עד 30 שניות כל אחד. השתמשו באותו קליפ בכל פעם שהדמות מדברת.
דוגמאות לפרומפטים
הפרומפטים נשארים באנגלית, כי המודל מבין הוראות בימוי באנגלית הכי טוב. המדריך של ByteDance ממליץ לכתוב: מה נשמע, איך זה נשמע, ומה לא אמור להיות שם.
שני אנשים ברחוב גשום
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
כל דובר מקבל תיאור בשורה אחת ורגש לפני המשפט.
צילום מוצר עם תזמון מדויק
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
חותמות הזמן מצמידות את הקליק לפריים שבו המכסה נפתח.
לפני שמתחילים
- המודל לא כותב את התסריט. סרטון בלי תיאור בפרומפט לא יקבל דיאלוג מתוכנן.
- הוא יוצר אודיו בלבד. תנועות הפה על המסך לא משתנות, ולכן דיאלוג עובד הכי טוב בצילומים רחבים, בצילומי עורף, בקריינות ובאנימציה.
- בקשה אחת מגיעה עד 6 דקות של אודיו; סרטים ארוכים יותר מדבבים סצנה אחר סצנה.
- השתמשו בקולות ייחוס רק באישור הדובר.
שאלות נפוצות על דיבוב וידאו ב-AI
האם Seed Audio 1.5 יכול לתרגם או לדבב סרטון לעברית?
עדיין לא. עברית אינה אחת מ-30 השפות ש-Seed Audio 1.5 מדבר בהשקה. סרטונים באנגלית או בסינית אפשר לתרגם לשפות שקוראי עברית צפויים להזדקק להן, כמו ערבית, רוסית, צרפתית, ספרדית וגרמנית.
מהו דיבוב וידאו ב-AI?
יצירת פס הקול של סרטון בעזרת AI: דיאלוג, קריינות, אפקטים ומוזיקה, בתזמון שמתאים למה שקורה על המסך. עם Seed Audio 1.5 אתם מתארים את הסאונד והמודל מפיק אותו במעבר אחד.
האם Seed Audio 1.5 כותב בשבילי את הדיאלוג?
לא. ByteDance מדגישה שהוא לא מדבב באופן אוטומטי. אתם מספקים את המשפטים ואת תיאור הסאונד, והמודל מבצע אותם ומתזמן אותם.
האם אפשר לדבב בקול מסוים?
כן. הוסיפו קליפ ייחוס של 2 עד 30 שניות והמשפטים יושמעו בקול הזה, בזמן שהסרטון קובע את התזמון. אפשר להשתמש בעד שישה קליפי ייחוס בבקשה אחת.
אפשר לדבב גם בשפות שאינן אנגלית?
כן. Seed Audio 1.5 מדבר 30 שפות, מיפנית וקוריאנית ועד פולנית, טורקית והינדי.
במה דיבוב שונה מתרגום וידאו?
דיבוב יוצר פס קול חדש לפי התיאור שלכם. תרגום וידאו לוקח דיבור שכבר קיים באנגלית או בסינית ומשמיע אותו מחדש בשפה אחרת, באותו קול.
קישורים קשורים
תנו לסצנה שלכם את הסאונד שהיא צריכה
כתבו את המשפטים, תארו את החדר, ותנו לתמונה לקבוע את התזמון.
דבבו סרטון