Le nouveau modèle Marey de Moonvalley marque une avancée majeure dans la technologie vidéo générée par l’IA, ciblant spécifiquement les besoins des cinéastes et designers professionnels.
Ce qui distingue Marey, c’est sa capacité à convertir des croquis combinés à des instructions textuelles en vidéos fidèles à la physique, avec des mouvements et des interactions environnementales réalistes. Les objets se déplacent avec un poids, un élan et un timing crédibles, respectant les lois de la physique réelle, ce qui donne à chaque image l’apparence d’avoir été filmée plutôt que générée. Le système produit des clips de haute qualité de 5 secondes en résolution 1080p à 24 images/seconde, répondant ainsi aux normes de l’industrie pour la production vidéo professionnelle.
Les instructions visuelles permettent aux artistes de donner des indications plus précises et nuancées au modèle. Marey répond non seulement au texte, mais aussi aux storyboards, croquis, photos et extraits vidéo — une fonctionnalité clé pour les penseurs visuels, offrant aux cinéastes le contrôle précis dont ils ont besoin. Ce système d’entrée basé sur les storyboards et les croquis rend l’outil plus intuitif pour les professionnels comparativement aux systèmes reposant uniquement sur le texte, tout en étant plus réactif aux indications comme les dessins et les références de mouvement.
Contrairement à de nombreux générateurs vidéo IA, Marey a été entièrement entraîné sur du matériel sous licence, incluant des plans B-roll de cinéastes indépendants et des archives obtenues grâce à des partenariats avec des plateformes comme Vimeo. Cela en fait l’un des premiers systèmes vidéo IA sécuritaires pour un usage commercial, réduisant le risque de litiges liés au droit d’auteur — une préoccupation croissante à Hollywood à la suite de poursuites intentées par de grands studios.
Le PDG de Moonvalley, Naeem Talukdar, a démontré comment Marey pouvait être utilisé tant en préproduction qu’en postproduction, que ce soit pour tester des scènes avant le tournage ou ajuster les angles de caméra par la suite. Le modèle possède une compréhension du monde physique qui lui permet d’imiter le mouvement tout en respectant les lois de la physique. Par exemple, une vidéo d’un bison courant dans les prairies peut être transposée en une Cadillac fonçant dans le même environnement, avec l’herbe et la terre réagissant de façon réaliste au passage de la voiture.
Là où de nombreux modèles IA offrent une génération basée sur des instructions avec peu de raffinement, Marey propose ce que Moonvalley appelle une approche de « cinéma hybride ». Elle permet un contrôle précis de la caméra, une manipulation de scène en 3D, des plans modifiables après génération, et des outils spécifiquement conçus pour la prévisualisation, le storyboard et la création de plans B-roll.
Pour les cinéastes indépendants, le principal atout de Marey est de démocratiser l’accès aux meilleurs outils de narration IA, en particulier pour les créateurs longtemps exclus du cinéma traditionnel. « Chez nous, il fallait demander la permission pour raconter nos histoires », explique le cinéaste Ángel Manuel Soto. « L’IA te donne la possibilité de le faire à ta façon, sans devoir renoncer à tes rêves parce que quelqu’un a refusé de les financer. »
Alors que Moonvalley poursuit le développement de Marey, l’entreprise prévoit lancer de nouveaux contrôles, comme l’éclairage, des trajectoires d’objets avancées et des bibliothèques de personnages dans les prochains mois. Cette technologie pourrait transformer de façon significative les processus de préproduction en permettant aux créateurs de visualiser rapidement des concepts avec un mouvement fidèle à la physique, ce qui pourrait faire économiser beaucoup de temps et de ressources.