Seed Audio 1.5: video vertalen en dubben met dezelfde stem
Eén model voor stem, geluidseffecten en muziek, aangestuurd door je video
Seed Audio 1.5 is het nieuwe audiomodel van ByteDance. Het neemt een video, luistert ernaar en schrijft een nieuwe soundtrack: dezelfde verteller die Japans spreekt, een dub die de beelden volgt, of stem, muziek en effecten gescheiden in aparte tracks. In early access gebruikten we het om een geanimeerde film van 9 minuten in 12 talen te vertalen. Hier lees je wat het deed, waar het misging en hoe je hetzelfde resultaat haalt. Vertalen naar het Nederlands kan ook.
Doitong is een onafhankelijk platform en is niet gelieerd aan ByteDance.
Onze test: één film, 12 talen, dezelfde verteller
We namen “The Last Ordinary Day in Pompeii”, een geanimeerde geschiedenisfilm van 9 minuten met Engelse voice-over, en lieten die per taal één keer door de videovertaling van Seed Audio 1.5 lopen. Speel de video af en open Instellingen → Audiotrack om te wisselen tussen het Engelse origineel en de 12 vertalingen. Voor de Nederlandse versie kies je de Nederlandse audiotrack.
Audiotracks bij deze video: Engels (origineel) plus Russisch, Duits, Frans, Spaans (Spanje), Italiaans, Japans, Koreaans, Nederlands, Zweeds, Deens, Noors en Fins.
- Lengte van de film
- 9:00
- Talen
- 12
- Tijd per verzoek
- 2,6–3,3 min
- Verschil in lengte
- < 0,03 s
Zo hebben we de test uitgevoerd
De cijfers hierboven komen uit onze eigen logs, niet uit een persbericht. Drie details zijn belangrijk als je de test wilt herhalen.
Splitsen bij een pauze
Eén verzoek accepteert een video van 4 tot 360 seconden. De film van 9 minuten ging daarom in twee delen, geknipt bij een natuurlijke pauze: 4:43 en 4:17. Twaalf talen betekenden 24 verzoeken, en elk kwam binnen 157 tot 200 seconden terug.
De lengte klopte
Elk vertaald deel kwam terug met dezelfde lengte als het origineel. Deel één kwam uit op 283,26 seconden tegenover 283,29 voor de bron, deel twee op 256,83 tegenover 256,83, en in elke taal waren de cijfers gelijk. De nieuwe voice-over paste op de beelden zonder dat we de timing hoefden aan te passen.
We stuurden alleen de stem
We gaven het model de voice-over zonder muziek en mixten onze eigen score en effecten achteraf terug. Muziek en effecten behouden binnen de vertaling is een vermelde functie van het model, maar deze test was daar niet van afhankelijk.
Wat Seed Audio 1.5 kan
Versie 1.5 is het eerste Seed Audio-model dat video accepteert. Die ene verandering maakt de meeste taken hieronder mogelijk.
Een video vertalen met dezelfde stem
Vanuit het Engels of Chinees naar 30 talen. De stem behoudt het karakter van de spreker, en de originele effecten en achtergrondmuziek blijven staan terwijl alleen de spraak verandert.
Een video dubben vanuit een beschrijving
Geef een video en beschrijf wat er te horen moet zijn: de dialoog, de stemmen, de effecten, de muziek. Het model schrijft audio die de beelden volgt. Het script bedenkt het niet voor je.
Audio splitsen in stems
Geef een audiobestand en krijg stemmen, effecten en muziek terug als aparte tracks, tot maximaal zes, klaar voor een mixsessie.
Geluid toevoegen aan een stille clip
Vraag om sfeergeluid, voetstappen, een deur, een muziekbed, en plaats elk geluid op de tijdlijn met timestamps in de prompt.
Een stem klonen
Maximaal zes referentiefragmenten van 2 tot 30 seconden bepalen de klankkleur. Combineer een referentie met een video en de dub wordt in die stem gesproken.
Liedjes schrijven met songtekst
Muziek tot zes minuten lang vanuit een tekstbrief, met gezongen songteksten in het Engels, Chinees, Japans, Koreaans of Kantonees.
Limieten van Seed Audio 1.5
Limieten uit de integratiegids voor early access van ByteDance. Controleer ze voordat je je video knipt.
| Invoer | Limiet |
|---|---|
| Videolengte | 4–360 seconden per verzoek |
| Videoformaten | MP4, MOV |
| Videoresolutie | 480p, 720p of 1080p |
| Bestandsgrootte video | Tot 200 MB |
| Referentiefragmenten voor stem | Maximaal 6, elk 2–30 s, samen 180 s |
| Audio voor stemscheiding | Eén bestand, 2–360 s, tot 90 MB, WAV of MP3 |
| Uitvoer | Waarde |
|---|---|
| Langste audio per verzoek | 6 minuten |
| Stemtracks | Maximaal 6 |
| Formaten | WAV (standaard), MP3, PCM, OGG Opus |
| Standaard samplefrequentie | 44,1 kHz |
| Talen voor spraak | 30 |
| Brontaal voor videovertaling | Engels of Chinees, of automatisch herkend |
Bron: integratiegids voor early access van ByteDance Seed Audio 1.5, oktober 2026. Limieten kunnen na de release veranderen.
30 talen
Seed Audio 1.5 spreekt deze talen. Videovertaling gaat vanuit het Engels of Chinees naar elk van deze talen.
Songteksten in liedjes worden in een kleinere set ondersteund: Engels, Chinees, Japans, Koreaans en Kantonees.
Prompts die werken
ByteDance's promptgids beschrijft drie niveaus: een eenvoudige beschrijving, een script dat de volgorde van gebeurtenissen vastlegt en een tijdlijn met exacte seconden. Begin eenvoudig en voeg alleen timestamps toe waar timing ertoe doet. De prompts blijven in het Engels, omdat het model Engelse aanwijzingen het best volgt.
Een eenvoudige voice-over
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
Eerst de beperkingen, dan de stem, dan de exacte woorden. Benoemen wat er niet in mag zitten is net zo belangrijk als wat er wel in moet.
Een scène met timing
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
Timestamps plaatsen elk geluid op de tijdlijn, zodat de audio aansluit op de sneden die je al hebt gemaakt.
Waar je op moet letten
Dingen waar we in de test tegenaan liepen, en dingen waar de documentatie duidelijk over is.
- Namen en zeldzame woorden kunnen per opname afwijken. In de Russische vertaling van onze tweede testfilm, die in 1666 in Londen speelt, kwam het oude woord voor een rivierboot op de Theems verkeerd uit en veranderde de naam van één personage van vorm. Videovertaling accepteert een woordenlijst, dus zet de namen erin voordat je begint.
- Dubben vereist een beschrijving. Seed Audio 1.5 schrijft zelf geen dialoog; vertel wat er gezegd wordt en wat er te horen is.
- Het maakt geluid, geen lipbewegingen. Een vertaalde stem behoudt de timing van het origineel, maar de monden in beeld worden niet opnieuw getekend.
- Eén verzoek dekt maximaal 6 minuten. Langere video's moet je splitsen, en een knip midden in een zin is hoorbaar, dus knip bij een pauze.
- Videovertaling start vanuit het Engels of Chinees. Een video in een andere taal kan niet rechtstreeks worden vertaald.
- Kloon alleen stemmen waarvoor je toestemming hebt.
Veelgestelde vragen over Seed Audio 1.5
Wat is Seed Audio 1.5?
Seed Audio 1.5 is een audiogeneratiemodel van ByteDance, uitgebracht op 28 oktober 2026. Het maakt spraak, geluidseffecten en muziek in één keer en is de eerste Seed Audio-versie die video accepteert, wat video dubben en video vertalen met dezelfde stem mogelijk maakt.
Kan Seed Audio 1.5 een video vertalen met dezelfde stem?
Ja. Videovertaling spreekt de tekst opnieuw in een andere taal in en behoudt het stemkarakter van de spreker, en ook de originele geluidseffecten en muziek blijven behouden. In onze test kwam een Engelse voice-over van 9 minuten terug in 12 talen, elk even lang als het origineel.
Welke talen ondersteunt Seed Audio 1.5?
30 talen voor spraak, waaronder Engels, Chinees, Japans, Koreaans, Spaans (Spanje en Mexico), Portugees (Brazilië en Portugal), Duits, Frans, Russisch, Arabisch, Hindi en Nederlands. Videovertaling gaat vanuit het Engels of Chinees naar elk van de 30.
Hoe lang mag de video zijn?
Eén verzoek accepteert een video van 4 tot 360 seconden, tot 200 MB, in 480p, 720p of 1080p. Splits een langere film bij pauzes en vertaal de delen een voor een, zoals wij deden met de Pompeii-film van 9 minuten.
Hoe lang duurt een vertaling?
In onze runs duurde elk deel van ongeveer vier en een halve minuut tussen 157 en 200 seconden per taal.
Doet Seed Audio 1.5 aan lipsync?
Nee. Het genereert audio. De vertaalde stem volgt de timing van het origineel, maar de video zelf, inclusief de mondbewegingen, wordt niet aangepast.
Kan het zang, muziek en geluidseffecten scheiden?
Ja. Geef een audiobestand van maximaal 6 minuten en je krijgt stemmen, effecten en muziek terug als aparte tracks, tot zes in totaal.
Wat is er veranderd ten opzichte van Seed Audio 1.0?
Seed Audio 1.5 voegt videoinvoer toe, waardoor video dubben en video vertalen mogelijk worden. Daarnaast komen er stemscheiding en muziek tot 6 minuten bij, accepteert het tot zes referentiefragmenten voor stemmen, levert het tot 6 minuten audio per verzoek en spreekt het 30 talen.
Is Seed Audio 1.5 hetzelfde als Seed Audio 2.0?
Sommige sites noemen het aankomende model Seed Audio 2.0. In de early-accessdocumentatie van ByteDance heet het Seed Audio 1.5, en die naam gebruiken wij.
Is Doitong gelieerd aan ByteDance?
Nee. Doitong is een onafhankelijk AI-videoplatform. We hadden early access tot Seed Audio 1.5 en beschrijven hier onze eigen resultaten.
Wat je kunt doen met Seed Audio 1.5
Geef je video een stem in een andere taal
Begin met één korte clip, controleer de namen en laat daarna de hele film lopen.
Start in Doitong