Хотя текст-видео ИИ-модели, такие как Sora от OpenAI, уже добились впечатляющих успехов в генерации видео, им всё ещё сложно создавать реалистичные метаморфные видеоролики — те, что показывают постепенные преобразования, например, распускание цветов или строительство зданий. Такие процессы особенно трудны для симуляции ИИ, поскольку требуют глубокого понимания законов физики и могут сильно различаться по визуальному исполнению.
Новая модель MagicTime решает эту проблему, обучаясь физическим закономерностям напрямую по таймлапс-видео. Под руководством аспиранта Цзиньфа Хуана и профессора Цзебо Ло из департамента компьютерных наук Университета Рочестера международная команда исследователей обучила модель на высококачественной базе из более чем 2000 тщательно аннотированных таймлапсов, чтобы уловить все нюансы физических превращений.
Текущая открытая версия MagicTime генерирует двухсекундные клипы с разрешением 512×512 пикселей, а сопутствующая архитектура на основе диффузионного трансформера расширяет возможности до десятисекундных роликов. MagicTime способна моделировать различные метаморфные процессы, включая биологический рост, строительные проекты и даже кулинарные превращения, такие как выпечка хлеба.
«MagicTime — это шаг к ИИ, который сможет лучше симулировать физические, химические, биологические или социальные свойства окружающего мира», — объясняет Хуан. Учёные видят значительный научный потенциал технологии за пределами индустрии развлечений, отмечая, что «биологи смогут использовать генеративное видео для ускорения предварительного поиска идей», уменьшая необходимость в физических экспериментах.
Возможности MagicTime охватывают множество областей. В образовании она может создавать динамичные визуализации сложных процессов, которые трудно наблюдать в реальном времени. Для контент-креаторов и индустрии развлечений это новые инструменты для спецэффектов и сторителлинга. Учёные могут применять технологию для моделирования и прогнозирования физических явлений, что потенциально ускорит исследования — от биологии до материаловедения.
По мере того как ИИ всё глубже интегрируется с физическим моделированием, MagicTime демонстрирует, как внедрение специализированных знаний в генеративные модели позволяет получать результаты, которые не только визуально впечатляют, но и имеют научную ценность. Исследование опубликовано в журнале IEEE Transactions on Pattern Analysis and Machine Intelligence.