Vaikka tekstistä videoksi -tekoälymallit, kuten OpenAI:n Sora, ovat edistyneet vaikuttavasti videotuotannossa, ne ovat kohdanneet haasteita realististen metamorfoosivideoiden, kuten kukkien avautumisen tai rakennusten rakentumisen, luomisessa. Tällaiset prosessit ovat tekoälylle erityisen vaikeita, koska ne vaativat syvällistä ymmärrystä reaalimaailman fysiikasta ja voivat vaihdella ulkoasultaan huomattavasti.
Uusi MagicTime-malli ratkaisee tämän rajoitteen oppimalla fysiikan lainalaisuuksia suoraan aikajakso- eli time-lapse-videoista. Rochesterin yliopiston tietojenkäsittelytieteen laitoksen tohtoriopiskelijan Jinfa Huangin ja professori Jiebo Luon johdolla kansainvälinen tutkimusryhmä koulutti mallia yli 2 000 huolellisesti kuvatekstein varustetulla aikajakso-videolla, jotta fyysisten muutosten vivahteet saatiin talteen.
Avoimen lähdekoodin nykyversio tuottaa kahden sekunnin mittaisia videoleikkeitä 512×512 pikselin tarkkuudella, ja siihen liitetty diffuusio-transformer-arkkitehtuuri mahdollistaa jopa kymmenen sekunnin videoiden luomisen. MagicTime kykenee simuloimaan monenlaisia metamorfoosiprosesseja, kuten biologista kasvua, rakennusprojekteja ja jopa ruoanvalmistuksen muutoksia, esimerkiksi leivän paistumista.
"MagicTime on askel kohti tekoälyä, joka kykenee paremmin simuloimaan ympäröivän maailman fysikaalisia, kemiallisia, biologisia tai sosiaalisia ilmiöitä", Huang selittää. Tutkijat näkevät teknologialla merkittäviä tieteellisiä sovelluksia viihteen ulkopuolella ja ehdottavat, että "biologit voisivat hyödyntää generatiivista videota nopeuttaakseen alustavaa ideointia" ja vähentääkseen fyysisten kokeiden tarvetta.
Teknologian vaikutukset ulottuvat useille aloille. Koulutuksessa se voi mahdollistaa dynaamiset visualisoinnit monimutkaisista prosesseista, joita on vaikea havainnoida reaaliajassa. Sisällöntuottajille ja viihdeteollisuudelle se tarjoaa uusia työkaluja erikoistehosteisiin ja tarinankerrontaan. Tieteessä sitä voidaan käyttää fysikaalisten ilmiöiden mallintamiseen ja ennustamiseen, mikä voi nopeuttaa tutkimusta esimerkiksi biologiassa tai materiaalitieteissä.
Tekoälyn integroituminen yhä syvemmin fysikaaliseen mallintamiseen osoittaa, miten alakohtaisen tiedon sisällyttäminen generatiivisiin malleihin voi tuottaa tuloksia, jotka ovat paitsi visuaalisesti vaikuttavia myös tieteellisesti merkityksellisiä. Tutkimus julkaistiin IEEE Transactions on Pattern Analysis and Machine Intelligence -lehdessä.