Докато AI моделите за генериране на видео от текст като Sora на OpenAI постигнаха впечатляващи резултати, те срещат трудности при създаването на реалистични метаморфни видеа – такива, които показват постепенни трансформации като разцъфтяване на цветя или строеж на сгради. Тези процеси са особено предизвикателни за симулация от изкуствен интелект, тъй като изискват дълбоко разбиране на физиката в реалния свят и могат да се проявяват по много различни начини.
Новият модел MagicTime преодолява това ограничение, като усвоява физически знания директно от таймлапс видеа. Под ръководството на докторанта Джинфа Хуанг и професор Джиебо Лоу от катедрата по компютърни науки в Рочестър, международният изследователски екип обучава модела върху висококачествен набор от над 2000 внимателно описани таймлапс видеа, за да улови нюансите на физическите трансформации.
Текущата версия с отворен код генерира двусекундни клипове с резолюция 512×512 пиксела, а допълнителна дифузионно-трансформър архитектура разширява възможностите до десетсекундни видеа. MagicTime може да симулира различни метаморфни процеси, включително биологичен растеж, строителни проекти и дори кулинарни трансформации като печене на хляб.
„MagicTime е стъпка към AI, който може по-добре да симулира физическите, химичните, биологичните или социалните свойства на света около нас“, обяснява Хуанг. Изследователите виждат значими научни приложения отвъд развлекателната индустрия, като предлагат, че „биолозите биха могли да използват генериращо видео за по-бързо предварително изследване на идеи“, като по този начин намалят нуждата от физически експерименти.
Влиянието на технологията се разпростира в множество области. В образованието тя може да създава динамични визуализации на сложни процеси, които е трудно да се наблюдават в реално време. За създателите на съдържание и развлекателната индустрия това предоставя нови инструменти за специални ефекти и разказване на истории. Учените могат да я използват за моделиране и прогнозиране на физични явления, което потенциално ускорява изследванията в области от биологията до материалознанието.
Докато AI продължава да се интегрира все по-дълбоко с физическото моделиране, MagicTime е пример за това как внедряването на специфични за дадена област знания в генеративните модели може да доведе до резултати, които са не само визуално впечатляващи, но и научно значими. Изследването е публикувано в IEEE Transactions on Pattern Analysis and Machine Intelligence.