Seed Audio 1.5: แปลและพากย์วิดีโอด้วยเสียงเดิม
โมเดลเดียวที่ทำทั้งเสียงพูด เสียงเอฟเฟกต์ และดนตรี โดยอิงจากวิดีโอของคุณ
Seed Audio 1.5 คือโมเดลเสียงรุ่นใหม่จาก ByteDance โมเดลจะรับวิดีโอเข้าไป ฟังแล้วเขียนซาวด์แทร็กใหม่ให้ เช่น ผู้บรรยายคนเดิมที่พูดภาษาญี่ปุ่น (หรือภาษาไทยก็ได้) เสียงพากย์ที่เข้ากับภาพ หรือเสียงพูด ดนตรี และเอฟเฟกต์ที่แยกออกเป็นแทร็กต่างหาก เราใช้โมเดลนี้ในช่วงเข้าถึงก่อนใคร เพื่อแปลหนังแอนิเมชันยาว 9 นาทีเป็น 12 ภาษา บทความนี้เล่าว่าโมเดลทำอะไรได้ พลาดตรงไหน และคุณจะได้ผลแบบเดียวกันได้อย่างไร
Doitong เป็นแพลตฟอร์มอิสระและไม่มีส่วนเกี่ยวข้องกับ ByteDance
ผลทดสอบของเรา: หนังหนึ่งเรื่อง 12 ภาษา ผู้บรรยายคนเดิม
เราใช้ “The Last Ordinary Day in Pompeii” หนังแอนิเมชันประวัติศาสตร์ยาว 9 นาทีที่บรรยายเป็นภาษาอังกฤษ แล้วส่งเข้าฟีเจอร์แปลวิดีโอของ Seed Audio 1.5 ทีละภาษา กดเล่นวิดีโอ แล้วเปิด การตั้งค่า → แทร็กเสียง เพื่อสลับระหว่างต้นฉบับภาษาอังกฤษกับคำแปลทั้ง 12 ภาษา
แทร็กเสียงในวิดีโอนี้: อังกฤษ (ต้นฉบับ) รวมถึงรัสเซีย เยอรมัน ฝรั่งเศส สเปน (สเปน) อิตาลี ญี่ปุ่น เกาหลี ดัตช์ สวีเดน เดนมาร์ก นอร์เวย์ และฟินแลนด์
- ความยาวหนัง
- 9:00
- จำนวนภาษา
- 12
- เวลาต่อหนึ่งคำขอ
- 2.6–3.3 นาที
- ความยาวที่ต่างจากต้นฉบับ
- < 0.03 วินาที
เราทดสอบอย่างไร
ตัวเลขข้างต้นมาจากบันทึกการทำงานของเราเอง ไม่ใช่จากข่าวประชาสัมพันธ์ หากคุณอยากทดสอบซ้ำ มีรายละเอียดสามข้อที่ควรรู้
ตัดตรงช่วงที่เงียบ
หนึ่งคำขอรับวิดีโอยาว 4 ถึง 360 วินาที เราจึงแบ่งหนัง 9 นาทีเป็นสองส่วนตรงช่วงเว้นจังหวะตามธรรมชาติ ยาว 4:43 และ 4:17 เมื่อแปล 12 ภาษาจึงต้องส่ง 24 คำขอ และแต่ละคำขอใช้เวลา 157 ถึง 200 วินาที
ความยาวตรงกับต้นฉบับ
ทุกส่วนที่แปลแล้วมีความยาวเท่าต้นฉบับ ส่วนแรกได้ 283.26 วินาที ขณะที่ต้นฉบับยาว 283.29 วินาที ส่วนที่สองได้ 256.83 วินาที เท่ากับต้นฉบับ และตัวเลขเป็นแบบเดียวกันในทุกภาษา เสียงบรรยายใหม่วางลงบนภาพได้เลยโดยไม่ต้องปรับจังหวะ
เราส่งเข้าไปเฉพาะเสียงพูด
เราป้อนเฉพาะเสียงบรรยายที่ไม่มีดนตรีให้โมเดล แล้วค่อยมิกซ์ดนตรีประกอบและเอฟเฟกต์ของเราเองกลับเข้าไปภายหลัง การคงดนตรีและเอฟเฟกต์ไว้ในงานแปลเป็นฟีเจอร์ที่โมเดลระบุไว้ แต่การทดสอบครั้งนี้เราไม่ได้พึ่งฟีเจอร์นั้น
Seed Audio 1.5 ทำอะไรได้บ้าง
เวอร์ชัน 1.5 เป็นโมเดล Seed Audio รุ่นแรกที่รับวิดีโอได้ การเปลี่ยนแปลงข้อนี้ข้อเดียวทำให้งานส่วนใหญ่ด้านล่างเป็นไปได้
แปลวิดีโอด้วยเสียงเดิมของผู้พูด
แปลจากภาษาอังกฤษหรือภาษาจีนเป็น 30 ภาษา เสียงยังคงลักษณะของผู้พูด ส่วนเสียงเอฟเฟกต์และดนตรีประกอบเดิมยังอยู่ที่เดิม เปลี่ยนเฉพาะเสียงพูด
พากย์วิดีโอจากคำอธิบาย
ส่งวิดีโอแล้วบอกว่าอยากได้ยินอะไร ทั้งบทพูด เสียงตัวละคร เอฟเฟกต์ และดนตรี โมเดลจะสร้างเสียงที่เข้ากับภาพ แต่จะไม่แต่งบทให้คุณเอง
แยกเสียงเป็นสเต็ม
ส่งไฟล์เสียงเข้าไป แล้วรับเสียงพูด เอฟเฟกต์ และดนตรีกลับมาเป็นแทร็กแยก สูงสุดหกแทร็ก พร้อมนำไปมิกซ์ต่อ
ใส่เสียงให้คลิปที่ไม่มีเสียง
ขอเสียงบรรยากาศ เสียงฝีเท้า เสียงประตู หรือดนตรีรองพื้น แล้ววางแต่ละเสียงบนไทม์ไลน์ด้วยไทม์สแตมป์ในพรอมต์
โคลนเสียง
คลิปอ้างอิงได้สูงสุดหกคลิป คลิปละ 2 ถึง 30 วินาที ใช้กำหนดโทนเสียง เมื่อใช้คลิปอ้างอิงร่วมกับวิดีโอ เสียงพากย์จะออกมาเป็นเสียงนั้น
แต่งเพลงพร้อมเนื้อร้อง
สร้างเพลงยาวสูงสุดหกนาทีจากโจทย์ที่เขียนเป็นข้อความ พร้อมเนื้อร้องภาษาอังกฤษ จีน ญี่ปุ่น เกาหลี หรือกวางตุ้ง
ข้อจำกัดของ Seed Audio 1.5
ข้อจำกัดจากคู่มือการเชื่อมต่อช่วงเข้าถึงก่อนใครของ ByteDance ควรตรวจสอบก่อนตัดวิดีโอ
| ข้อมูลนำเข้า | ข้อจำกัด |
|---|---|
| ความยาววิดีโอ | 4–360 วินาทีต่อหนึ่งคำขอ |
| ฟอร์แมตวิดีโอ | MP4, MOV |
| ความละเอียดวิดีโอ | 480p, 720p หรือ 1080p |
| ขนาดไฟล์วิดีโอ | ไม่เกิน 200 MB |
| คลิปอ้างอิงเสียง | ไม่เกิน 6 คลิป คลิปละ 2–30 วินาที รวมไม่เกิน 180 วินาที |
| เสียงสำหรับแยกสเต็ม | 1 ไฟล์ ยาว 2–360 วินาที ไม่เกิน 90 MB เป็น WAV หรือ MP3 |
| ผลลัพธ์ | ค่า |
|---|---|
| เสียงที่ยาวที่สุดต่อหนึ่งคำขอ | 6 นาที |
| แทร็กสเต็ม | สูงสุด 6 |
| ฟอร์แมต | WAV (ค่าเริ่มต้น), MP3, PCM, OGG Opus |
| แซมเปิลเรตเริ่มต้น | 44.1 kHz |
| ภาษาสำหรับเสียงพูด | 30 |
| ภาษาต้นฉบับของการแปลวิดีโอ | อังกฤษหรือจีน หรือให้ระบบตรวจจับอัตโนมัติ |
ที่มา: คู่มือการเชื่อมต่อช่วงเข้าถึงก่อนใคร Seed Audio 1.5 ของ ByteDance ตุลาคม 2026 ข้อจำกัดอาจเปลี่ยนแปลงหลังเปิดตัวอย่างเป็นทางการ
30 ภาษา
Seed Audio 1.5 พูดได้ทุกภาษาเหล่านี้ การแปลวิดีโอทำได้จากภาษาอังกฤษหรือภาษาจีนไปยังภาษาใดก็ได้ในรายการ
เนื้อร้องในเพลงรองรับน้อยกว่านี้ คือ อังกฤษ จีน ญี่ปุ่น เกาหลี และกวางตุ้ง
พรอมต์ที่ได้ผลจริง
คู่มือพรอมต์ของ ByteDance แบ่งเป็นสามระดับ คือ คำอธิบายธรรมดา สคริปต์ที่กำหนดลำดับเหตุการณ์ และไทม์ไลน์ที่ระบุวินาทีชัดเจน ให้เริ่มจากแบบธรรมดา แล้วเพิ่มไทม์สแตมป์เฉพาะจุดที่จังหวะสำคัญ (พรอมต์ตัวอย่างเขียนเป็นภาษาอังกฤษ เพราะโมเดลทำตามคำสั่งภาษาอังกฤษได้ดีที่สุด)
เสียงบรรยายแบบเรียบง่าย
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
เขียนข้อกำหนดก่อน ตามด้วยลักษณะเสียง แล้วจึงถึงถ้อยคำที่ต้องการพอดี การบอกว่าไม่ต้องการอะไรสำคัญไม่แพ้การบอกว่าต้องการอะไร
ฉากที่กำหนดเวลา
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
ไทม์สแตมป์วางแต่ละเสียงลงบนไทม์ไลน์ ทำให้เสียงเข้าจังหวะกับช่วงตัดต่อที่คุณทำไว้แล้ว
ข้อควรระวัง
สิ่งที่เราเจอระหว่างทดสอบ และสิ่งที่เอกสารของโมเดลระบุไว้ชัดเจน
- ชื่อเฉพาะและคำที่พบไม่บ่อยอาจเพี้ยนไปในแต่ละครั้ง ในคำแปลภาษารัสเซียของหนังทดสอบเรื่องที่สอง ซึ่งเกิดในลอนดอนปี 1666 คำเก่าที่ใช้เรียกเรือแม่น้ำเทมส์ออกเสียงผิด และชื่อตัวละครตัวหนึ่งเปลี่ยนรูปไป ฟีเจอร์แปลวิดีโอรองรับอภิธานศัพท์ ดังนั้นควรใส่รายชื่อเหล่านี้ไว้ก่อนเริ่มแปล
- การพากย์ต้องมีคำอธิบาย Seed Audio 1.5 ไม่เขียนบทพูดเอง คุณต้องบอกว่าพูดอะไรและได้ยินอะไร
- โมเดลสร้างเสียง ไม่ได้สร้างการขยับปาก เสียงที่แปลแล้วคงจังหวะของต้นฉบับไว้ แต่ปากบนจอไม่ได้ถูกวาดใหม่
- หนึ่งคำขอครอบคลุมได้สูงสุด 6 นาที วิดีโอที่ยาวกว่านั้นต้องแบ่งส่วน และการตัดกลางประโยคจะได้ยินเป็นรอยต่อ จึงควรตัดตรงช่วงที่เงียบ
- การแปลวิดีโอเริ่มจากภาษาอังกฤษหรือภาษาจีนเท่านั้น วิดีโอภาษาอื่นแปลโดยตรงไม่ได้
- โคลนเฉพาะเสียงที่คุณมีสิทธิ์ใช้งานเท่านั้น
คำถามที่พบบ่อยเกี่ยวกับ Seed Audio 1.5
Seed Audio 1.5 คืออะไร
Seed Audio 1.5 เป็นโมเดลสร้างเสียงจาก ByteDance เปิดตัวเมื่อ 28 ตุลาคม 2026 โมเดลสร้างเสียงพูด เสียงเอฟเฟกต์ และดนตรีในรอบเดียว และเป็น Seed Audio รุ่นแรกที่รับวิดีโอได้ ซึ่งทำให้พากย์วิดีโอและแปลวิดีโอด้วยเสียงเดิมของผู้พูดเป็นไปได้
Seed Audio 1.5 แปลวิดีโอด้วยเสียงเดิมของผู้พูดได้ไหม
ได้ ฟีเจอร์แปลวิดีโอจะพากย์เสียงพูดเป็นอีกภาษาหนึ่งโดยคงลักษณะเสียงของผู้พูดไว้ และเก็บเสียงเอฟเฟกต์กับดนตรีเดิมไว้ด้วย ในการทดสอบของเรา เสียงบรรยายภาษาอังกฤษยาว 9 นาทีถูกแปลเป็น 12 ภาษา และทุกภาษามีความยาวเท่าต้นฉบับ
Seed Audio 1.5 รองรับภาษาอะไรบ้าง
รองรับเสียงพูด 30 ภาษา รวมถึงภาษาไทย อังกฤษ จีน ญี่ปุ่น เกาหลี สเปน (สเปนและเม็กซิโก) โปรตุเกส (บราซิลและโปรตุเกส) เยอรมัน ฝรั่งเศส รัสเซีย อาหรับ และฮินดี การแปลวิดีโอทำได้จากภาษาอังกฤษหรือภาษาจีนไปยังภาษาใดก็ได้ใน 30 ภาษา
วิดีโอยาวได้สูงสุดเท่าไร
หนึ่งคำขอรับวิดีโอยาว 4 ถึง 360 วินาที ขนาดไม่เกิน 200 MB ความละเอียด 480p, 720p หรือ 1080p หากเป็นหนังที่ยาวกว่านั้น ให้แบ่งตรงช่วงที่เงียบแล้วแปลทีละส่วน เหมือนที่เราทำกับหนังปอมเปอีความยาว 9 นาที
การแปลใช้เวลานานแค่ไหน
ในการทดสอบของเรา แต่ละส่วนที่ยาวประมาณสี่นาทีครึ่งใช้เวลา 157 ถึง 200 วินาทีต่อภาษา
Seed Audio 1.5 ทำลิปซิงก์ได้ไหม
ไม่ได้ โมเดลสร้างเฉพาะเสียง เสียงที่แปลแล้วคงจังหวะของต้นฉบับไว้ แต่ตัววิดีโอ รวมถึงการขยับปาก ไม่ได้ถูกแก้ไข
แยกเสียงร้อง ดนตรี และเสียงเอฟเฟกต์ได้ไหม
ได้ ส่งไฟล์เสียงที่ยาวไม่เกิน 6 นาทีเข้าไป โมเดลจะส่งเสียงพูด เอฟเฟกต์ และดนตรีกลับมาเป็นแทร็กแยก รวมสูงสุดหกแทร็ก
Seed Audio 1.5 ต่างจาก Seed Audio 1.0 อย่างไร
Seed Audio 1.5 เพิ่มการรับวิดีโอ ซึ่งเป็นที่มาของการพากย์วิดีโอและการแปลวิดีโอ นอกจากนี้ยังเพิ่มการแยกสเต็มและเพลงยาวสูงสุด 6 นาที รับคลิปอ้างอิงเสียงได้สูงสุดหกคลิป สร้างเสียงได้ยาวสูงสุด 6 นาทีต่อหนึ่งคำขอ และพูดได้ 30 ภาษา
Seed Audio 1.5 เหมือนกับ Seed Audio 2.0 ไหม
บางเว็บไซต์เรียกโมเดลรุ่นที่กำลังจะมาว่า Seed Audio 2.0 แต่เอกสารช่วงเข้าถึงก่อนใครของ ByteDance เรียกว่า Seed Audio 1.5 และเราใช้ชื่อนี้
Doitong เกี่ยวข้องกับ ByteDance หรือไม่
ไม่เกี่ยวข้อง Doitong เป็นแพลตฟอร์มวิดีโอ AI อิสระ เราได้เข้าถึง Seed Audio 1.5 ก่อนใคร และเล่าเฉพาะผลลัพธ์ที่เราทดสอบเองไว้ที่นี่
สิ่งที่คุณทำได้ด้วย Seed Audio 1.5
ให้วิดีโอของคุณมีเสียงในอีกภาษาหนึ่ง
เริ่มจากคลิปสั้นหนึ่งคลิป ตรวจชื่อเฉพาะ แล้วค่อยแปลทั้งเรื่อง
เริ่มใช้งานใน Doitong