Meskipun model AI teks-ke-video seperti Sora dari OpenAI telah menunjukkan kemajuan pesat dalam pembuatan video, mereka masih kesulitan menghasilkan video metamorfosis yang realistis—yakni video yang menampilkan transformasi bertahap seperti bunga mekar atau pembangunan gedung. Proses-proses ini sangat menantang untuk disimulasikan AI karena membutuhkan pemahaman mendalam tentang fisika dunia nyata dan dapat sangat bervariasi dalam penampilan.
Model MagicTime yang baru dikembangkan mengatasi keterbatasan ini dengan mempelajari pengetahuan fisika langsung dari video time-lapse. Dipimpin oleh mahasiswa PhD Jinfa Huang dan Profesor Jiebo Luo dari Departemen Ilmu Komputer Rochester, tim peneliti internasional ini melatih model mereka menggunakan dataset berkualitas tinggi yang terdiri dari lebih dari 2.000 video time-lapse dengan keterangan yang sangat detail untuk menangkap nuansa transformasi fisik.
Versi open-source saat ini mampu menghasilkan klip berdurasi dua detik dengan resolusi 512×512 piksel, sementara arsitektur difusi-transformer yang menyertainya dapat memperpanjang durasi hingga sepuluh detik. MagicTime dapat mensimulasikan berbagai proses metamorfosis, termasuk pertumbuhan biologis, proyek konstruksi, hingga transformasi kuliner seperti proses memanggang roti.
"MagicTime adalah langkah menuju AI yang dapat mensimulasikan sifat fisik, kimia, biologi, atau sosial dari dunia di sekitar kita dengan lebih baik," jelas Huang. Para peneliti membayangkan aplikasi ilmiah yang signifikan di luar hiburan, dengan menyarankan bahwa "biolog dapat menggunakan video generatif untuk mempercepat eksplorasi awal ide" sekaligus mengurangi kebutuhan eksperimen fisik.
Implikasi teknologi ini meluas ke berbagai bidang. Dalam pendidikan, MagicTime dapat menciptakan visualisasi dinamis dari proses kompleks yang sulit diamati secara langsung. Bagi pembuat konten dan industri hiburan, teknologi ini menawarkan alat baru untuk efek khusus dan penceritaan. Para ilmuwan pun dapat menggunakannya untuk memodelkan dan memprediksi fenomena fisik, sehingga berpotensi mempercepat riset di bidang mulai dari biologi hingga ilmu material.
Seiring AI semakin terintegrasi dengan pemodelan fisik, MagicTime menjadi contoh bagaimana penanaman pengetahuan domain khusus ke dalam model generatif dapat menghasilkan keluaran yang tidak hanya menarik secara visual, tetapi juga bermakna secara ilmiah. Riset ini telah dipublikasikan di IEEE Transactions on Pattern Analysis and Machine Intelligence.