Zatiaľ čo AI modely na generovanie videí z textu, ako napríklad Sora od OpenAI, dosiahli v posledných rokoch pôsobivé výsledky, stále zápasia s tvorbou realistických metamorfických videí – teda takých, ktoré zobrazujú postupné premeny, ako je rozkvitnutie kvetu alebo výstavba budovy. Tieto procesy sú pre AI obzvlášť náročné na simuláciu, pretože vyžadujú hlboké pochopenie fyzikálnych zákonitostí a ich vizuálny prejav sa môže výrazne líšiť.
Novovyvinutý model MagicTime túto slabinu prekonáva tým, že sa učí fyzikálne poznatky priamo z časozberných videí. Medzinárodný výskumný tím pod vedením doktoranda Jinfa Huanga a profesora Jieba Lua z Katedry informatiky na University of Rochester trénoval svoj model na kvalitnom datasete viac ako 2 000 starostlivo popísaných časozberných videí, aby zachytil nuansy fyzikálnych premien.
Súčasná open-source verzia dokáže generovať dvojsekundové klipy v rozlíšení 512×512 pixelov, pričom sprievodná architektúra založená na difúznom transformátore rozširuje túto schopnosť na desaťsekundové videá. MagicTime dokáže simulovať rôzne metamorfické procesy, vrátane biologického rastu, stavebných projektov či dokonca kulinárskych premien, ako je pečenie chleba.
„MagicTime je krokom k AI, ktorá dokáže lepšie simulovať fyzikálne, chemické, biologické alebo sociálne vlastnosti sveta okolo nás,“ vysvetľuje Huang. Výskumníci predpokladajú významné vedecké využitie aj mimo oblasti zábavy a naznačujú, že „biológovia by mohli generatívne video využiť na zrýchlenie predbežného skúmania nápadov“ a zároveň znížiť potrebu fyzických experimentov.
Dopady tejto technológie presahujú viaceré oblasti. Vo vzdelávaní môže vytvárať dynamické vizualizácie zložitých procesov, ktoré je ťažké pozorovať v reálnom čase. Pre tvorcov obsahu a zábavný priemysel ponúka nové nástroje na špeciálne efekty a rozprávanie príbehov. Vedci ju môžu využiť na modelovanie a predikciu fyzikálnych javov, čo môže urýchliť výskum v oblastiach od biológie až po materiálové vedy.
Ako sa AI čoraz viac prepája s fyzikálnym modelovaním, MagicTime ukazuje, ako môže zapojenie doménovo špecifických poznatkov do generatívnych modelov priniesť výsledky, ktoré sú nielen vizuálne pôsobivé, ale aj vedecky relevantné. Výskum bol publikovaný v IEEE Transactions on Pattern Analysis and Machine Intelligence.