Le nouveau modèle Marey de Moonvalley marque une avancée majeure dans la génération vidéo par IA, en s’adressant tout particulièrement aux besoins des professionnels du cinéma et du design.
Ce qui distingue Marey, c’est sa capacité à convertir des croquis associés à des instructions textuelles en vidéos respectant fidèlement la physique, avec des mouvements et des interactions environnementales réalistes. Les objets se déplacent avec un poids, un élan et un timing crédibles, conformes aux lois physiques du monde réel, donnant à chaque image l’apparence d’une prise de vue réelle plutôt que générée. Le système produit des clips de 5 secondes en haute qualité, en 1080p et à 24 images par seconde, répondant ainsi aux standards de l’industrie audiovisuelle.
Les instructions visuelles permettent aux artistes de donner des indications plus précises et nuancées au modèle. Marey répond non seulement au texte, mais aussi aux storyboards, croquis, photos et extraits vidéo — une fonctionnalité clé pour les créatifs visuels, offrant aux réalisateurs le contrôle précis dont ils ont besoin. Ce système d’entrée basé sur les storyboards et croquis rend l’outil plus intuitif pour les professionnels par rapport aux systèmes reposant uniquement sur du texte, tout en étant plus réactif aux inputs comme les dessins ou les références de mouvement.
Contrairement à de nombreux générateurs vidéo par IA, Marey a été entraîné exclusivement sur du contenu sous licence, incluant des plans B-roll de cinéastes indépendants et des archives obtenues via des partenariats avec des plateformes comme Vimeo. Cela en fait l’un des premiers systèmes vidéo IA sûrs pour un usage commercial, réduisant les risques de litiges liés au droit d’auteur — une préoccupation croissante à Hollywood après les poursuites intentées par de grands studios.
Le PDG de Moonvalley, Naeem Talukdar, a démontré comment Marey pouvait être utilisé aussi bien en préproduction qu’en postproduction, que ce soit pour tester des scènes avant le tournage ou ajuster les angles de caméra après coup. Le modèle possède une compréhension du monde physique qui lui permet d’imiter le mouvement tout en respectant les lois de la physique. Par exemple, une vidéo d’un bison galopant dans la prairie peut être transposée en une Cadillac traversant le même environnement, avec l’herbe et la terre réagissant de manière réaliste au passage de la voiture.
Là où de nombreux modèles IA se limitent à une génération basée sur des instructions sans possibilité de raffinement, Marey propose ce que Moonvalley appelle une approche de « réalisation hybride ». Elle permet un contrôle précis de la caméra, une manipulation de scènes en 3D, l’édition des plans après génération, ainsi que des outils spécifiquement conçus pour la prévisualisation, le storyboard et la création de plans B-roll.
Pour les cinéastes indépendants, le principal atout de Marey est de démocratiser l’accès aux meilleurs outils de narration par IA, notamment pour les créateurs longtemps exclus du cinéma traditionnel. « Chez moi, il fallait demander la permission pour raconter nos histoires », explique le réalisateur Ángel Manuel Soto. « L’IA te donne la possibilité de le faire selon tes propres termes, sans devoir renoncer à tes rêves parce que quelqu’un a refusé de les financer. »
Alors que Moonvalley poursuit le développement de Marey, de nouveaux contrôles comme l’éclairage, les trajectoires complexes d’objets et des bibliothèques de personnages devraient être déployés dans les prochains mois. Cette technologie pourrait transformer en profondeur les processus de préproduction, en permettant aux créateurs de visualiser rapidement des concepts avec des mouvements physiquement réalistes, et ainsi d’économiser un temps et des ressources considérables.