OpenAI'nin Sora'sı gibi metinden videoya yapay zekâ modelleri video üretiminde etkileyici ilerlemeler kaydetmiş olsa da, çiçeklerin açması veya binaların inşası gibi kademeli dönüşümleri gösteren gerçekçi metamorfik videolar oluşturmakta zorlanıyorlardı. Bu tür süreçler, gerçek dünya fiziğinin derinlemesine anlaşılmasını gerektirdiğinden ve görünümleri oldukça değişken olabildiğinden, yapay zekâ için özellikle zorlu bir alan oluşturuyor.
Yeni geliştirilen MagicTime modeli, bu sınırlamayı aşmak için fiziksel bilgiyi doğrudan time-lapse videolardan öğreniyor. Rochester Üniversitesi Bilgisayar Bilimleri Bölümü'nden doktora öğrencisi Jinfa Huang ve Profesör Jiebo Luo liderliğindeki uluslararası araştırma ekibi, fiziksel dönüşümlerin inceliklerini yakalamak amacıyla, titizlikle altyazılandırılmış 2.000'den fazla yüksek kaliteli time-lapse videodan oluşan bir veri setiyle modeli eğitti.
Şu anda açık kaynak olarak sunulan sürüm, 512×512 piksel çözünürlükte iki saniyelik klipler üretebiliyor. Buna ek olarak, modelin difüzyon-dönüştürücü mimarisi, bu süreyi on saniyelik videolara kadar çıkarabiliyor. MagicTime; biyolojik büyüme, inşaat projeleri ve hatta ekmek pişirme gibi mutfak dönüşümleri de dahil olmak üzere çeşitli metamorfik süreçleri simüle edebiliyor.
"MagicTime, çevremizdeki dünyanın fiziksel, kimyasal, biyolojik veya sosyal özelliklerini daha iyi simüle edebilen yapay zekâya doğru bir adım," diyor Huang. Araştırmacılar, eğlence sektörünün ötesinde önemli bilimsel uygulamalar öngörüyor ve "biyologların, fiziksel deneylere olan ihtiyacı azaltırken fikirlerin ön keşfini hızlandırmak için üretken videoları kullanabileceğini" belirtiyor.
Teknolojinin etkileri birçok alana yayılıyor. Eğitimde, gerçek zamanlı gözlemlenmesi zor olan karmaşık süreçlerin dinamik görselleştirmelerini oluşturabilir. İçerik üreticileri ve eğlence sektörü için ise özel efektler ve hikâye anlatımı için yeni araçlar sunuyor. Bilim insanları, biyolojiden malzeme bilimine kadar birçok alanda fiziksel olayları modellemek ve öngörmek için bu teknolojiyi kullanarak araştırmaları hızlandırabilir.
Yapay zekâ fiziksel modellemeyle daha derin bütünleşmeye devam ederken, MagicTime, alanına özgü bilginin üretken modellere gömülmesinin yalnızca görsel olarak etkileyici değil, aynı zamanda bilimsel açıdan anlamlı sonuçlar üretebileceğini gösteriyor. Araştırma, IEEE Transactions on Pattern Analysis and Machine Intelligence dergisinde yayımlandı.