Seed Audio 1.5: dịch và lồng tiếng video giữ nguyên giọng
Một mô hình cho giọng nói, hiệu ứng âm thanh và nhạc, dựa trên chính video của bạn
Seed Audio 1.5 là mô hình âm thanh mới của ByteDance. Mô hình nhận một video, nghe nội dung rồi viết ra phần âm thanh mới: cùng một người dẫn nhưng nói tiếng Nhật, bản lồng tiếng khớp với hình, hoặc giọng nói, nhạc và hiệu ứng được tách thành các track riêng. Chúng tôi đã dùng bản truy cập sớm để dịch một bộ phim hoạt hình dài 9 phút sang 12 ngôn ngữ. Dưới đây là những gì mô hình làm được, chỗ nào còn sai sót và cách để bạn có kết quả tương tự. Bạn cũng có thể dịch sang tiếng Việt.
Doitong là nền tảng độc lập và không liên kết với ByteDance.
Thử nghiệm của chúng tôi: một bộ phim, 12 ngôn ngữ, cùng một người dẫn
Chúng tôi lấy “The Last Ordinary Day in Pompeii”, một phim hoạt hình lịch sử dài 9 phút với lời dẫn tiếng Anh, rồi chạy qua tính năng dịch video của Seed Audio 1.5 mỗi ngôn ngữ một lần. Hãy phát video và mở Cài đặt → Bản âm thanh để chuyển giữa bản gốc tiếng Anh và 12 bản dịch.
Các bản âm thanh của video này: tiếng Anh (bản gốc) cùng tiếng Nga, Đức, Pháp, Tây Ban Nha (Tây Ban Nha), Ý, Nhật, Hàn, Hà Lan, Thụy Điển, Đan Mạch, Na Uy và Phần Lan.
- Độ dài phim
- 9:00
- Số ngôn ngữ
- 12
- Thời gian mỗi yêu cầu
- 2,6–3,3 phút
- Chênh lệch độ dài
- < 0,03 giây
Chúng tôi đã chạy thử nghiệm như thế nào
Các con số ở trên lấy từ nhật ký của chính chúng tôi, không phải từ thông cáo báo chí. Có ba chi tiết đáng chú ý nếu bạn muốn làm lại.
Cắt ở chỗ ngắt nghỉ
Mỗi yêu cầu nhận một video dài từ 4 đến 360 giây, nên bộ phim 9 phút được chia thành hai phần, cắt ở chỗ ngắt tự nhiên: 4:43 và 4:17. Với 12 ngôn ngữ, chúng tôi gửi 24 yêu cầu, mỗi yêu cầu có kết quả sau 157 đến 200 giây.
Độ dài được giữ nguyên
Mọi phần dịch đều có độ dài bằng bản gốc. Phần một cho ra 283,26 giây so với 283,29 giây của bản nguồn, phần hai là 256,83 so với 256,83, và con số giống nhau ở mọi ngôn ngữ. Lời dẫn mới khớp vào hình mà không cần chỉnh lại thời gian.
Chúng tôi chỉ gửi phần giọng nói
Chúng tôi đưa cho mô hình phần lời dẫn không có nhạc, sau đó tự phối lại nhạc nền và hiệu ứng. Giữ nguyên nhạc và hiệu ứng ngay trong bản dịch là một tính năng mà mô hình công bố, nhưng thử nghiệm này không dựa vào tính năng đó.
Seed Audio 1.5 làm được gì
Phiên bản 1.5 là mô hình Seed Audio đầu tiên nhận video đầu vào. Chỉ riêng thay đổi đó đã mở ra phần lớn các tác vụ dưới đây.
Dịch video giữ nguyên giọng nói
Từ tiếng Anh hoặc tiếng Trung sang 30 ngôn ngữ. Giọng nói giữ được đặc điểm của người nói, còn hiệu ứng và nhạc nền gốc vẫn ở nguyên chỗ, chỉ phần lời thoại thay đổi.
Lồng tiếng video từ mô tả
Đưa vào một video và mô tả những gì cần nghe thấy: lời thoại, giọng đọc, hiệu ứng, nhạc. Mô hình tạo âm thanh khớp với hình. Nó sẽ không tự nghĩ ra kịch bản thay bạn.
Tách âm thanh thành các stem
Đưa vào một tệp âm thanh và nhận lại giọng nói, hiệu ứng và nhạc dưới dạng các track riêng, tối đa sáu track, sẵn sàng để phối âm.
Làm âm thanh cho clip câm
Yêu cầu âm thanh môi trường, tiếng bước chân, tiếng cửa, nền nhạc, rồi đặt từng thứ lên timeline bằng mốc thời gian trong prompt.
Nhân bản giọng nói
Tối đa sáu đoạn mẫu, mỗi đoạn dài 2 đến 30 giây, xác định âm sắc giọng. Kết hợp đoạn mẫu với một video, bản lồng tiếng sẽ được đọc bằng giọng đó.
Viết bài hát có lời
Nhạc dài tới sáu phút từ một yêu cầu bằng văn bản, với lời hát bằng tiếng Anh, Trung, Nhật, Hàn hoặc tiếng Quảng Đông.
Giới hạn của Seed Audio 1.5
Các giới hạn lấy từ hướng dẫn tích hợp truy cập sớm của ByteDance. Hãy kiểm tra trước khi bạn cắt video.
| Đầu vào | Giới hạn |
|---|---|
| Độ dài video | 4–360 giây mỗi yêu cầu |
| Định dạng video | MP4, MOV |
| Độ phân giải video | 480p, 720p hoặc 1080p |
| Dung lượng tệp video | Tối đa 200 MB |
| Đoạn giọng nói mẫu | Tối đa 6 đoạn, mỗi đoạn 2–30 giây, tổng cộng 180 giây |
| Âm thanh để tách stem | Một tệp, 2–360 giây, tối đa 90 MB, WAV hoặc MP3 |
| Đầu ra | Giá trị |
|---|---|
| Âm thanh dài nhất mỗi yêu cầu | 6 phút |
| Track stem | Tối đa 6 |
| Định dạng | WAV (mặc định), MP3, PCM, OGG Opus |
| Tần số lấy mẫu mặc định | 44,1 kHz |
| Ngôn ngữ giọng nói | 30 |
| Ngôn ngữ nguồn khi dịch video | Tiếng Anh hoặc tiếng Trung, hoặc tự động nhận diện |
Nguồn: hướng dẫn tích hợp truy cập sớm Seed Audio 1.5 của ByteDance, tháng 10/2026. Các giới hạn có thể thay đổi sau khi phát hành chính thức.
30 ngôn ngữ
Seed Audio 1.5 nói được các ngôn ngữ này. Tính năng dịch video đi từ tiếng Anh hoặc tiếng Trung sang bất kỳ ngôn ngữ nào trong danh sách.
Lời bài hát được hỗ trợ trong một nhóm nhỏ hơn: tiếng Anh, Trung, Nhật, Hàn và tiếng Quảng Đông.
Các prompt hiệu quả
Hướng dẫn prompt của ByteDance mô tả ba cấp độ: mô tả đơn giản, kịch bản quy định thứ tự sự kiện, và timeline với số giây chính xác. Hãy bắt đầu bằng mô tả đơn giản và chỉ thêm mốc thời gian ở chỗ cần chính xác về thời điểm. Các prompt giữ nguyên tiếng Anh vì mô hình hiểu chỉ dẫn tiếng Anh tốt nhất.
Lời thuyết minh đơn giản
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Đặt các ràng buộc trước, rồi đến giọng đọc, rồi đến nội dung chính xác. Nói rõ điều không được xuất hiện cũng quan trọng như điều cần có.
Một cảnh có mốc thời gian
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Mốc thời gian đặt từng âm thanh lên timeline, nhờ đó âm thanh khớp với các điểm cắt bạn đã dựng sẵn.
Những điều cần lưu ý
Những vấn đề chúng tôi gặp khi thử nghiệm, và những điều tài liệu đã nêu rõ.
- Tên riêng và từ hiếm có thể bị lệch giữa các lần chạy. Trong bản dịch tiếng Nga của phim thử nghiệm thứ hai, lấy bối cảnh London năm 1666, từ cổ chỉ thuyền trên sông Thames bị đọc sai và tên một nhân vật bị đổi dạng. Tính năng dịch video chấp nhận bảng thuật ngữ, vì vậy hãy liệt kê các tên riêng trước khi chạy.
- Lồng tiếng cần có mô tả. Seed Audio 1.5 không tự viết lời thoại; hãy cho nó biết cái gì được nói và cái gì được nghe thấy.
- Mô hình tạo ra âm thanh, không tạo chuyển động môi. Giọng đã dịch giữ nhịp của bản gốc, nhưng khẩu hình trên màn hình không được vẽ lại.
- Một yêu cầu xử lý tối đa 6 phút. Video dài hơn phải được chia nhỏ, và chỗ cắt giữa câu sẽ nghe thấy rõ, nên hãy cắt ở chỗ ngắt nghỉ.
- Dịch video bắt đầu từ tiếng Anh hoặc tiếng Trung. Video bằng ngôn ngữ khác không thể dịch trực tiếp.
- Chỉ nhân bản những giọng nói mà bạn có quyền sử dụng.
Câu hỏi thường gặp về Seed Audio 1.5
Seed Audio 1.5 là gì?
Seed Audio 1.5 là mô hình tạo âm thanh của ByteDance, ra mắt ngày 28/10/2026. Mô hình tạo giọng nói, hiệu ứng âm thanh và nhạc trong một lần chạy, và là phiên bản Seed Audio đầu tiên nhận video đầu vào, nhờ đó mới có thể lồng tiếng video và dịch video giữ nguyên giọng.
Seed Audio 1.5 có dịch video giữ nguyên giọng nói không?
Có. Tính năng dịch video thay phần lời bằng một ngôn ngữ khác nhưng vẫn giữ đặc điểm giọng của người nói, đồng thời giữ lại hiệu ứng âm thanh và nhạc gốc. Trong thử nghiệm của chúng tôi, lời dẫn tiếng Anh dài 9 phút được dịch sang 12 ngôn ngữ, mỗi bản có độ dài bằng bản gốc.
Seed Audio 1.5 hỗ trợ những ngôn ngữ nào?
30 ngôn ngữ cho giọng nói, gồm tiếng Anh, Trung, Nhật, Hàn, Tây Ban Nha (Tây Ban Nha và Mexico), Bồ Đào Nha (Brazil và Bồ Đào Nha), Đức, Pháp, Nga, Ả Rập, Hindi và cả tiếng Việt. Dịch video đi từ tiếng Anh hoặc tiếng Trung sang bất kỳ ngôn ngữ nào trong 30 ngôn ngữ đó.
Video có thể dài tối đa bao nhiêu?
Mỗi yêu cầu nhận một video dài từ 4 đến 360 giây, tối đa 200 MB, ở độ phân giải 480p, 720p hoặc 1080p. Với phim dài hơn, hãy chia ở các chỗ ngắt nghỉ và dịch từng phần, như chúng tôi đã làm với bộ phim Pompeii dài 9 phút.
Dịch một video mất bao lâu?
Trong các lần chạy của chúng tôi, mỗi phần dài khoảng bốn phút rưỡi mất từ 157 đến 200 giây cho mỗi ngôn ngữ.
Seed Audio 1.5 có khớp khẩu hình (lip sync) không?
Không. Mô hình chỉ tạo âm thanh. Giọng đã dịch bám theo nhịp của bản gốc, nhưng bản thân video, kể cả chuyển động môi, không bị thay đổi.
Có thể tách giọng hát, nhạc và hiệu ứng âm thanh không?
Có. Đưa vào một tệp âm thanh dài tối đa 6 phút, mô hình sẽ trả về giọng nói, hiệu ứng và nhạc dưới dạng các track riêng, tối đa sáu track.
Seed Audio 1.5 khác gì so với Seed Audio 1.0?
Seed Audio 1.5 bổ sung đầu vào video, nhờ đó có lồng tiếng video và dịch video. Phiên bản này cũng thêm tách stem và nhạc dài tới 6 phút, nhận tối đa sáu đoạn giọng nói mẫu, tạo tối đa 6 phút âm thanh mỗi yêu cầu và nói được 30 ngôn ngữ.
Seed Audio 1.5 có phải là Seed Audio 2.0 không?
Một số trang gọi mô hình sắp ra mắt là Seed Audio 2.0. Tài liệu truy cập sớm của ByteDance gọi nó là Seed Audio 1.5, và đó là tên chúng tôi dùng.
Doitong có liên kết với ByteDance không?
Không. Doitong là nền tảng video AI độc lập. Chúng tôi được truy cập sớm vào Seed Audio 1.5 và chỉ trình bày kết quả của chính mình ở đây.
Bạn có thể làm gì với Seed Audio 1.5
Cho video của bạn một giọng nói bằng ngôn ngữ khác
Bắt đầu với một clip ngắn, kiểm tra các tên riêng, rồi chạy cả bộ phim.
Bắt đầu với Doitong