Chociaż modele AI zamieniające tekst na wideo, takie jak Sora od OpenAI, poczyniły imponujące postępy w generowaniu filmów, wciąż mają trudności z tworzeniem realistycznych filmów metamorficznych – ukazujących stopniowe przemiany, jak rozkwit kwiatów czy budowę budynków. Procesy te są szczególnie wymagające dla AI, gdyż wymagają głębokiego zrozumienia praw fizyki i mogą wyglądać bardzo różnie w zależności od przypadku.
Nowo opracowany model MagicTime rozwiązuje ten problem, ucząc się wiedzy fizycznej bezpośrednio z filmów poklatkowych. Pod kierunkiem doktoranta Jinfa Huanga oraz profesora Jiebo Luo z Wydziału Informatyki Uniwersytetu w Rochester, międzynarodowy zespół badawczy wytrenował model na wysokiej jakości zbiorze ponad 2000 starannie opisanych filmów poklatkowych, by uchwycić subtelności fizycznych przemian.
Obecnie otwartoźródłowa wersja MagicTime generuje dwusekundowe klipy w rozdzielczości 512×512 pikseli, a towarzysząca jej architektura diffusion-transformer pozwala wydłużyć filmy do dziesięciu sekund. MagicTime potrafi symulować różnorodne procesy metamorficzne, w tym wzrost biologiczny, projekty budowlane, a nawet przemiany kulinarne, takie jak pieczenie chleba.
„MagicTime to krok w stronę AI, która lepiej symuluje właściwości fizyczne, chemiczne, biologiczne czy społeczne otaczającego nas świata” – wyjaśnia Huang. Naukowcy przewidują szerokie zastosowania naukowe wykraczające poza rozrywkę, sugerując, że „biolodzy mogliby wykorzystywać generatywne wideo do szybszej, wstępnej eksploracji pomysłów”, ograniczając potrzebę przeprowadzania kosztownych eksperymentów fizycznych.
Implikacje tej technologii obejmują wiele dziedzin. W edukacji może ona umożliwić tworzenie dynamicznych wizualizacji złożonych procesów, trudnych do zaobserwowania w czasie rzeczywistym. Dla twórców treści i branży rozrywkowej to nowe narzędzia do efektów specjalnych i opowiadania historii. Naukowcy mogą wykorzystywać MagicTime do modelowania i przewidywania zjawisk fizycznych, co może przyspieszyć badania w takich dziedzinach, jak biologia czy nauka o materiałach.
W miarę jak AI coraz głębiej integruje się z modelowaniem zjawisk fizycznych, MagicTime pokazuje, że wprowadzenie specjalistycznej wiedzy dziedzinowej do modeli generatywnych pozwala uzyskać efekty nie tylko atrakcyjne wizualnie, ale także mające znaczenie naukowe. Wyniki badań zostały opublikowane w czasopiśmie IEEE Transactions on Pattern Analysis and Machine Intelligence.