พากย์วิดีโอด้วย AI ที่เข้าจังหวะกับภาพ
เสียงพูด เอฟเฟกต์ และดนตรี จากคำอธิบายเดียว
เครื่องมือเสียง AI ส่วนใหญ่อ่านข้อความออกมาโดยไม่เห็นภาพ แล้วให้คุณไปจัดจังหวะให้ตรงกับงานตัดต่อเอง แต่ Seed Audio 1.5 ดูวิดีโอด้วย แค่อธิบายว่าใครพูด พูดว่าอะไร ห้องมีเสียงแบบไหน และดนตรีทำอะไร ก็จะได้ซาวด์แทร็กเดียวที่ตรงกับสิ่งที่เกิดขึ้นบนจอ และคุณยังแปลเป็นภาษาไทยได้ด้วย
คุณเขียนบทพูด โมเดลจะแสดงเสียงตามบท พร้อมเอฟเฟกต์และดนตรี ให้เข้าจังหวะกับภาพ
พากย์ได้ 3 แบบ
ByteDance ระบุโหมดวิดีโอไว้ 3 โหมด เลือกตามระดับการควบคุมเสียงที่คุณต้องการ
วิดีโอและคำอธิบาย
โมเดลอ่านฉากแล้วพากย์ตามข้อความของคุณ ทั้งบทพูด ลักษณะเสียง เอฟเฟกต์ และดนตรีประกอบ
วิดีโอ คำอธิบาย และเสียงต้นแบบ
เพิ่มคลิปต้นแบบ แล้วบทพูดจะถูกพูดด้วยเสียงนั้น วิดีโอกำหนดจังหวะ ส่วนคลิปต้นแบบกำหนดลักษณะเสียง
แปลเสียงที่มีอยู่แล้ว
ถ้าวิดีโอมีเสียงพูดภาษาอังกฤษหรือภาษาจีนอยู่แล้ว ให้แปลแทนการพากย์ใหม่ และคงเสียงของผู้พูดคนเดิมไว้
งานที่การพากย์ช่วยได้จริง
ฟุตเทจที่สร้างด้วย AI
คลิปจากโมเดลวิดีโอมักไม่มีเสียง หรือมีเสียงที่เดาขึ้นมา พากย์ใหม่ด้วยบทสนทนาและบรรยากาศที่ฉากนั้นต้องการจริง ๆ
เสียงหน้างานไม่ดี
ByteDance ระบุว่าการปรับปรุงเสียงคุณภาพต่ำเป็นกรณีใช้งานหนึ่ง คือแสดงฉากใหม่ให้เสียงสะอาด แทนที่จะต้องกำจัดเสียงรบกวน
ละครสั้นและซีรีส์
รักษาเสียงของตัวละครให้เหมือนเดิมทุกตอนด้วยการใช้คลิปต้นแบบเดิม
โฆษณาและโปรโมต
จัดจังหวะเสียงบรรยาย เสียงสินค้า และเสียงดนตรีให้ตรงเฟรม แล้วเปลี่ยนภาษาสำหรับตลาดถัดไป
วิธีพากย์วิดีโอด้วย Seed Audio 1.5
เตรียมวิดีโอที่ตัดต่อแล้ว
ไฟล์ MP4 หรือ MOV ความยาว 4 ถึง 360 วินาที ความละเอียด 480p ถึง 1080p ขนาดไม่เกิน 200 MB พากย์จากเวอร์ชันตัดต่อสุดท้าย เพราะถ้าตัดต่อเปลี่ยน จังหวะก็เปลี่ยนตาม
เขียนสิ่งที่ได้ยิน
ใส่บทพูดในเครื่องหมายคำพูด อธิบายเสียงของแต่ละคนสั้น ๆ แล้วตามด้วยเอฟเฟกต์และดนตรี โมเดลไม่คิดบทสนทนาเอง ดังนั้นทุกอย่างที่ต้องพูดต้องอยู่ในพรอมต์
ล็อกจังหวะเฉพาะจุดสำคัญ
ใช้ไทม์สแตมป์ เช่น [2.0s:6.5s] กับบทพูดและเอฟเฟกต์ที่ต้องตรงกับจังหวะตัดภาพ ส่วนที่เหลือปล่อยให้โมเดลจัดการ
เพิ่มเสียงต้นแบบหากต้องการ
ใช้ได้สูงสุด 6 คลิป คลิปละ 2 ถึง 30 วินาที ใช้คลิปเดิมทุกครั้งที่ตัวละครนั้นพูด
ตัวอย่างพรอมต์
คู่มือพรอมต์ของ ByteDance แนะนำให้ระบุ: สิ่งที่ได้ยิน เสียงเป็นอย่างไร และสิ่งที่ต้องไม่มี (พรอมต์ตัวอย่างเขียนเป็นภาษาอังกฤษ เพราะโมเดลเข้าใจคำสั่งภาษาอังกฤษได้ดีที่สุด)
สองคนบนถนนที่ฝนตก
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
ผู้พูดแต่ละคนมีคำอธิบายหนึ่งบรรทัดและอารมณ์ก่อนบทพูด
ภาพสินค้าที่ต้องการจังหวะเป๊ะ
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
ไทม์สแตมป์ช่วยให้เสียงคลิกตรงกับเฟรมที่ฝาเปิดพอดี
ก่อนเริ่มใช้งาน
- โมเดลไม่เขียนบทให้ ถ้าพรอมต์ไม่มีคำอธิบายหรือบทพูด วิดีโอจะไม่มีบทสนทนาที่วางแผนไว้
- สร้างได้เฉพาะเสียง ไม่ได้เปลี่ยนการขยับปากบนจอ บทสนทนาจึงเหมาะกับภาพมุมกว้าง ภาพจากด้านหลังศีรษะ เสียงบรรยาย และแอนิเมชัน
- หนึ่งคำขอสร้างเสียงได้สูงสุด 6 นาที หากเป็นหนังที่ยาวกว่านั้น ให้พากย์ทีละฉาก
- ใช้เสียงต้นแบบเมื่อได้รับอนุญาตจากเจ้าของเสียงเท่านั้น
คำถามที่พบบ่อยเกี่ยวกับการพากย์วิดีโอด้วย AI
การพากย์วิดีโอด้วย AI คืออะไร
คือการสร้างซาวด์แทร็กของวิดีโอด้วย AI ทั้งบทสนทนา เสียงบรรยาย เอฟเฟกต์ และดนตรี โดยจัดจังหวะให้ตรงกับสิ่งที่เกิดขึ้นบนจอ ด้วย Seed Audio 1.5 คุณอธิบายเสียงที่ต้องการ แล้วโมเดลจะสร้างให้ในครั้งเดียว
Seed Audio 1.5 เขียนบทสนทนาให้ไหม
ไม่ ByteDance ระบุชัดเจนว่าไม่ได้พากย์ให้อัตโนมัติ คุณต้องให้บทพูดและคำอธิบายเสียง โมเดลจะแสดงเสียงและจัดจังหวะให้
พากย์ด้วยเสียงที่กำหนดเองได้ไหม
ได้ เพิ่มคลิปต้นแบบยาว 2 ถึง 30 วินาที แล้วบทพูดจะถูกพูดด้วยเสียงนั้น โดยวิดีโอเป็นตัวกำหนดจังหวะ ใช้เสียงต้นแบบได้สูงสุด 6 คลิปในหนึ่งคำขอ
พากย์เป็นภาษาอื่นที่ไม่ใช่ภาษาอังกฤษได้ไหม
ได้ Seed Audio 1.5 พูดได้ 30 ภาษา ตั้งแต่ญี่ปุ่นและเกาหลี ไปจนถึงโปแลนด์ ตุรกี และฮินดี
การพากย์ต่างจากการแปลวิดีโออย่างไร
การพากย์สร้างซาวด์แทร็กใหม่จากคำอธิบายของคุณ ส่วนการแปลวิดีโอจะนำเสียงพูดภาษาอังกฤษหรือภาษาจีนที่มีอยู่แล้วมาพากย์ใหม่เป็นอีกภาษาด้วยเสียงเดิม
หน้าที่เกี่ยวข้อง
ให้ฉากของคุณมีเสียงที่ต้องการ
เขียนบทพูด อธิบายบรรยากาศของห้อง แล้วให้ภาพเป็นตัวกำหนดจังหวะ
พากย์วิดีโอ