Sebbene i modelli AI testo-video come Sora di OpenAI abbiano compiuto notevoli progressi nella generazione di video, hanno incontrato difficoltà nel creare video metamorfici realistici – quelli che mostrano trasformazioni graduali come la fioritura di un fiore o la costruzione di un edificio. Questi processi sono particolarmente complessi da simulare per l’AI, poiché richiedono una profonda comprensione della fisica reale e possono variare notevolmente nell’aspetto.
Il nuovo modello MagicTime affronta questa limitazione apprendendo la conoscenza fisica direttamente dai video time-lapse. Guidato dal dottorando Jinfa Huang e dal professor Jiebo Luo del Dipartimento di Informatica di Rochester, il team di ricerca internazionale ha addestrato il modello su un dataset di oltre 2.000 video time-lapse accuratamente sottotitolati, per cogliere tutte le sfumature delle trasformazioni fisiche.
L’attuale versione open source genera clip di due secondi a una risoluzione di 512×512 pixel, mentre un’architettura diffusion-transformer associata estende la durata dei video fino a dieci secondi. MagicTime è in grado di simulare vari processi metamorfici, tra cui la crescita biologica, progetti di costruzione e persino trasformazioni culinarie come la cottura del pane.
"MagicTime è un passo verso un’AI in grado di simulare meglio le proprietà fisiche, chimiche, biologiche o sociali del mondo che ci circonda", spiega Huang. I ricercatori prevedono importanti applicazioni scientifiche oltre all’intrattenimento, suggerendo che "i biologi potrebbero utilizzare video generativi per accelerare l’esplorazione preliminare di idee" riducendo la necessità di esperimenti fisici.
Le implicazioni della tecnologia si estendono a numerosi settori. In ambito educativo, potrebbe creare visualizzazioni dinamiche di processi complessi difficili da osservare in tempo reale. Per i creatori di contenuti e l’industria dell’intrattenimento, offre nuovi strumenti per effetti speciali e narrazione. Gli scienziati potrebbero utilizzarla per modellare e prevedere fenomeni fisici, accelerando potenzialmente la ricerca in campi che vanno dalla biologia alla scienza dei materiali.
Man mano che l’AI si integra sempre più profondamente con la modellazione fisica, MagicTime rappresenta un esempio di come l’integrazione di conoscenze specifiche di dominio nei modelli generativi possa produrre risultati non solo visivamente accattivanti, ma anche scientificamente significativi. La ricerca è stata pubblicata su IEEE Transactions on Pattern Analysis and Machine Intelligence.