Bagamat nakagawa na ng mga kahanga-hangang pag-unlad ang mga text-to-video AI model tulad ng Sora ng OpenAI sa pagbuo ng mga video, nahihirapan pa rin silang lumikha ng realistikong metamorphic na mga video—mga bidyong nagpapakita ng unti-unting pagbabago gaya ng pamumulaklak ng bulaklak o pagtatayo ng gusali. Mahirap para sa AI na tularan ang mga prosesong ito dahil nangangailangan ito ng malalim na pag-unawa sa pisika ng totoong mundo at nagkakaiba-iba ang anyo nito.
Tinugunan ng bagong MagicTime model ang limitasyong ito sa pamamagitan ng pagkatuto ng kaalamang pisikal direkta mula sa mga time-lapse na video. Pinangunahan nina PhD student Jinfa Huang at Propesor Jiebo Luo mula sa Department of Computer Science ng Rochester ang internasyonal na research team na nagsanay ng kanilang modelo gamit ang mataas na kalidad na dataset ng mahigit 2,000 time-lapse na video na may detalyadong mga caption upang makuha ang mga detalye ng pisikal na pagbabago.
Ang kasalukuyang open-source na bersyon ay nakagagawa ng dalawang segundong clip na may resolusyong 512×512 pixel, habang ang kasamang diffusion-transformer architecture ay nagpapalawig nito hanggang sampung segundong video. Kayang tularan ng MagicTime ang iba't ibang metamorphic na proseso kabilang ang paglago ng mga organismo, mga proyektong konstruksyon, at maging ang mga pagbabago sa pagluluto gaya ng pagbe-bake ng tinapay.
"Ang MagicTime ay isang hakbang patungo sa AI na mas mahusay na makakatulad sa mga pisikal, kemikal, biyolohikal, o sosyal na katangian ng mundo sa paligid natin," paliwanag ni Huang. Nakikita ng mga mananaliksik ang malalaking aplikasyon nito sa agham lampas sa libangan, at iminungkahi nilang "maaaring gamitin ng mga biologist ang generative video upang mapabilis ang paunang pag-explore ng mga ideya" habang nababawasan ang pangangailangan para sa pisikal na eksperimento.
Malawak ang implikasyon ng teknolohiyang ito sa iba't ibang larangan. Sa edukasyon, maaari itong lumikha ng dinamikong biswal na paglalarawan ng mga komplikadong prosesong mahirap mapanood nang real-time. Para sa mga content creator at industriya ng libangan, nag-aalok ito ng mga bagong kasangkapan para sa special effects at storytelling. Maaaring gamitin ito ng mga siyentipiko upang imodelo at mahulaan ang mga pisikal na phenomena, na posibleng magpabilis ng pananaliksik sa mga larangan mula biyolohiya hanggang agham ng materyales.
Habang patuloy na lumalalim ang integrasyon ng AI at pisikal na pagmomodelo, ipinapakita ng MagicTime kung paano ang pagsasama ng espesipikong kaalaman sa isang larangan sa generative models ay maaaring magbunga ng mga resulta na hindi lamang kaakit-akit sa paningin kundi may saysay din sa agham. Nailathala ang pananaliksik na ito sa IEEE Transactions on Pattern Analysis and Machine Intelligence.