Moonvalleys nyligen släppta modell Marey representerar ett betydande framsteg inom AI-genererad videoträning, särskilt riktad mot professionella filmskapare och designers.
Det som särskiljer Marey är dess förmåga att omvandla skisser i kombination med textpromptar till fysikaliskt korrekta videor med realistiska rörelser och miljöinteraktioner. Objekt rör sig med trovärdig vikt, momentum och tajming som följer verklighetens fysik, vilket gör att varje bildruta ser ut att vara filmad snarare än genererad. Systemet levererar högkvalitativa 5-sekundersklipp i 1080p-upplösning och 24 bilder per sekund, vilket möter branschstandard för professionell videoproduktion.
Visuella promptar gör det möjligt för konstnärer att ge modellen mer specifika och nyanserade instruktioner. Marey svarar inte bara på text utan även på storyboards, skisser, foton och videoklipp – en nyckelfunktion för visuella tänkare som ger filmskapare den precisa kontroll de behöver. Detta system för inmatning via storyboards och skisser gör verktyget mer intuitivt för professionella jämfört med textbaserade promptsystem, samtidigt som det är mer mottagligt för konditioneringsinput som teckningar och rörelsereferenser.
Till skillnad från många AI-videogeneratorer, har Marey tränats uteslutande på licensierat material, inklusive B-roll från oberoende filmskapare och arkivmaterial säkrat genom samarbeten med plattformar som Vimeo. Detta gör den till ett av de första kommersiellt säkra AI-videosystemen för produktionsmiljöer och minskar risken för upphovsrättsliga tvister – en växande oro i Hollywood efter stämningar från stora studior.
Moonvalleys vd Naeem Talukdar demonstrerade hur Marey kan användas både i pre- och postproduktion, antingen för att testa scener innan inspelning eller för att justera kameravinklar i efterhand. Modellen har en förståelse för den fysiska världen som gör att den kan efterlikna rörelser samtidigt som den respekterar fysikens lagar. Exempelvis kan en video av en bison som springer över gräsmarker översättas till en Cadillac som rusar genom samma miljö, där gräs och jord reagerar realistiskt på bilens rörelse.
Där många AI-modeller erbjuder promptbaserad generering med begränsade möjligheter till förfining, levererar Marey det Moonvalley kallar ett "hybridfilmskapande". Det innebär exakt kamerakontroll, 3D-medveten scenmanipulation, redigerbara klipp efter generering och verktyg särskilt framtagna för previsualisering, storyboardskapande och B-roll-produktion.
För oberoende filmskapare är Mareys största fördel att den demokratiserar tillgången till avancerade AI-verktyg för berättande, särskilt för kreatörer som länge känt sig utestängda från traditionellt filmskapande. "Hemma var vi tvungna att be om tillstånd för att berätta våra historier," säger filmskaparen Ángel Manuel Soto. "AI ger dig möjligheten att göra det på dina egna villkor, utan att behöva säga nej till dina drömmar för att någon vägrade finansiera dem."
I takt med att Moonvalley fortsätter utveckla Marey planerar de att lansera nya kontroller som ljussättning, avancerade objektbanor och karaktärsbibliotek under de kommande månaderna. Denna teknik kan komma att förändra preproduktionsprocesser i grunden genom att låta kreatörer snabbt visualisera koncept med fysikaliskt korrekta rörelser, vilket potentiellt kan spara både tid och resurser.