Während KI-Modelle zur Text-zu-Video-Generierung wie OpenAIs Sora bereits beeindruckende Fortschritte bei der Videoproduktion gemacht haben, hatten sie bislang Schwierigkeiten, realistische metamorphe Videos zu erzeugen – also solche, die schrittweise Transformationen wie das Erblühen von Blumen oder den Bau von Gebäuden zeigen. Solche Prozesse sind für KI besonders herausfordernd, da sie ein tiefes Verständnis realweltlicher Physik erfordern und in ihrer Erscheinung stark variieren können.
Das neu entwickelte Modell MagicTime begegnet dieser Einschränkung, indem es physikalisches Wissen direkt aus Zeitraffervideos erlernt. Unter der Leitung des Doktoranden Jinfa Huang und Professor Jiebo Luo vom Department of Computer Science der University of Rochester trainierte das internationale Forschungsteam ihr Modell mit einem hochwertigen Datensatz aus über 2.000 sorgfältig beschrifteten Zeitraffervideos, um die Feinheiten physikalischer Transformationen einzufangen.
Die aktuelle Open-Source-Version erzeugt zwei Sekunden lange Clips mit einer Auflösung von 512×512 Pixeln, während eine begleitende Diffusions-Transformer-Architektur dies auf zehn Sekunden lange Videos erweitert. MagicTime kann verschiedene metamorphe Prozesse simulieren, darunter biologisches Wachstum, Bauprojekte und sogar kulinarische Transformationen wie das Backen von Brot.
„MagicTime ist ein Schritt in Richtung KI, die physikalische, chemische, biologische oder soziale Eigenschaften unserer Welt besser simulieren kann“, erklärt Huang. Die Forscher sehen bedeutende wissenschaftliche Anwendungen jenseits der Unterhaltung und schlagen vor, dass „Biologen generative Videos nutzen könnten, um die erste Erkundung von Ideen zu beschleunigen“ und so den Bedarf an physischen Experimenten zu reduzieren.
Die Auswirkungen der Technologie erstrecken sich über zahlreiche Bereiche. In der Bildung könnte sie dynamische Visualisierungen komplexer Prozesse ermöglichen, die in Echtzeit schwer zu beobachten sind. Für Content-Ersteller und die Unterhaltungsindustrie bietet sie neue Werkzeuge für Spezialeffekte und Storytelling. Wissenschaftler könnten sie nutzen, um physikalische Phänomene zu modellieren und vorherzusagen, was die Forschung in Bereichen von der Biologie bis zur Materialwissenschaft beschleunigen könnte.
Während KI immer stärker mit physikalischer Modellierung verschmilzt, zeigt MagicTime beispielhaft, wie die Einbettung domänenspezifischen Wissens in generative Modelle zu Ergebnissen führt, die nicht nur visuell überzeugend, sondern auch wissenschaftlich bedeutsam sind. Die Forschung wurde in den IEEE Transactions on Pattern Analysis and Machine Intelligence veröffentlicht.