Walaupun model AI teks-ke-video seperti Sora oleh OpenAI telah menunjukkan kemajuan mengagumkan dalam penjanaan video, mereka masih menghadapi kesukaran untuk menghasilkan video metamorfik realistik – iaitu video yang memaparkan transformasi beransur-ansur seperti bunga mekar atau pembinaan bangunan. Proses-proses ini amat mencabar untuk disimulasikan oleh AI kerana ia memerlukan pemahaman mendalam tentang fizik dunia sebenar dan boleh berbeza-beza dari segi penampilan.
Model MagicTime yang baru dibangunkan mengatasi kekangan ini dengan mempelajari pengetahuan fizikal secara langsung daripada video selang masa. Diketuai oleh pelajar PhD Jinfa Huang dan Profesor Jiebo Luo dari Jabatan Sains Komputer Rochester, pasukan penyelidik antarabangsa ini melatih model mereka menggunakan set data berkualiti tinggi yang mengandungi lebih 2,000 video selang masa lengkap dengan kapsyen terperinci untuk menangkap nuansa transformasi fizikal.
Versi sumber terbuka semasa mampu menjana klip dua saat pada resolusi 512×512 piksel, manakala seni bina difusi-transformer yang disertakan membolehkan penghasilan video sehingga sepuluh saat. MagicTime boleh mensimulasikan pelbagai proses metamorfik termasuk pertumbuhan biologi, projek pembinaan, dan juga transformasi kulinari seperti proses membakar roti.
"MagicTime ialah satu langkah ke arah AI yang mampu mensimulasikan sifat fizikal, kimia, biologi, atau sosial dunia di sekeliling kita dengan lebih baik," jelas Huang. Para penyelidik membayangkan aplikasi saintifik yang besar melangkaui hiburan, mencadangkan bahawa "ahli biologi boleh menggunakan video generatif untuk mempercepatkan penerokaan awal idea" sambil mengurangkan keperluan eksperimen fizikal.
Implikasi teknologi ini melangkaui pelbagai bidang. Dalam pendidikan, ia boleh menghasilkan visualisasi dinamik bagi proses kompleks yang sukar diperhatikan secara masa nyata. Untuk pencipta kandungan dan industri hiburan, ia menawarkan alat baharu untuk kesan khas dan penceritaan. Para saintis mungkin menggunakannya untuk memodel dan meramalkan fenomena fizikal, sekali gus mempercepatkan penyelidikan dalam bidang seperti biologi hingga sains bahan.
Seiring AI terus mengintegrasi secara lebih mendalam dengan pemodelan fizikal, MagicTime membuktikan bagaimana penyepaduan pengetahuan khusus domain ke dalam model generatif boleh menghasilkan hasil yang bukan sahaja menarik secara visual malah bermakna dari segi saintifik. Penyelidikan ini telah diterbitkan dalam IEEE Transactions on Pattern Analysis and Machine Intelligence.