Aunque los modelos de IA de texto a video como Sora de OpenAI han logrado avances impresionantes en la generación de videos, han tenido dificultades para crear videos metamórficos realistas, es decir, aquellos que muestran transformaciones graduales como el florecimiento de flores o la construcción de edificios. Estos procesos representan un reto particular para la IA, ya que requieren una comprensión profunda de la física del mundo real y pueden variar mucho en apariencia.
El modelo MagicTime, recientemente desarrollado, aborda esta limitación al aprender conocimientos físicos directamente de videos time-lapse. Liderado por el estudiante de doctorado Jinfa Huang y el profesor Jiebo Luo del Departamento de Ciencias de la Computación de Rochester, el equipo internacional de investigación entrenó su modelo con un conjunto de datos de alta calidad compuesto por más de 2,000 videos time-lapse meticulosamente subtitulados para capturar los matices de las transformaciones físicas.
La versión actual de código abierto genera clips de dos segundos en resolución de 512×512 píxeles, mientras que una arquitectura combinada de difusión y transformador amplía esto a videos de hasta diez segundos. MagicTime puede simular diversos procesos metamórficos, incluyendo crecimiento biológico, proyectos de construcción e incluso transformaciones culinarias como el horneado de pan.
"MagicTime es un paso hacia una IA que pueda simular mejor las propiedades físicas, químicas, biológicas o sociales del mundo que nos rodea", explica Huang. Los investigadores prevén aplicaciones científicas significativas más allá del entretenimiento, sugiriendo que "los biólogos podrían usar videos generativos para acelerar la exploración preliminar de ideas" y reducir la necesidad de experimentos físicos.
Las implicaciones de esta tecnología se extienden a múltiples campos. En la educación, podría crear visualizaciones dinámicas de procesos complejos que son difíciles de observar en tiempo real. Para creadores de contenido y la industria del entretenimiento, ofrece nuevas herramientas para efectos especiales y narrativas. Los científicos podrían utilizarla para modelar y predecir fenómenos físicos, acelerando potencialmente la investigación en áreas que van desde la biología hasta la ciencia de materiales.
A medida que la IA continúa integrándose más profundamente con el modelado físico, MagicTime ejemplifica cómo la incorporación de conocimientos específicos de dominio en modelos generativos puede producir resultados que no solo son visualmente atractivos, sino también significativos desde el punto de vista científico. La investigación fue publicada en IEEE Transactions on Pattern Analysis and Machine Intelligence.