Нова модель Marey від Moonvalley є значним кроком вперед у сфері відеогенерації за допомогою ШІ, орієнтованої на потреби професійних кінематографістів і дизайнерів.
Відмінною рисою Marey є здатність перетворювати ескізи у поєднанні з текстовими підказками на фізично достовірні відео, які зберігають реалістичний рух і взаємодію з оточенням. Об’єкти рухаються з правдоподібною вагою, інерцією та таймінгом, що відповідають законам реальної фізики, завдяки чому кожен кадр виглядає так, ніби його знято на камеру, а не згенеровано. Система створює високоякісні 5-секундні кліпи у роздільній здатності 1080p та з частотою 24 кадри на секунду, що відповідає галузевим стандартам професійного відеовиробництва.
Візуальні підказки дозволяють художникам давати моделі більш точні та нюансовані інструкції. Marey реагує не лише на текст, а й на розкадрування, ескізи, фотографії та відеофрагменти — це ключова функція для візуальних мислителів, яка забезпечує кінематографістам необхідний рівень контролю. Така система введення на основі розкадрувань та ескізів робить інструмент інтуїтивно зрозумілим для професіоналів у порівнянні з системами, що працюють лише з текстом, і водночас чутливішим до умовних вхідних даних, таких як малюнки чи посилання на рух.
На відміну від багатьох інших генераторів відео на основі ШІ, Marey навчалася виключно на ліцензованих матеріалах, зокрема на B-roll від незалежних кінематографістів та архівних записах, отриманих у партнерстві з такими платформами, як Vimeo. Це робить Marey однією з перших комерційно безпечних систем ШІ для відеовиробництва, що зменшує ризик виникнення суперечок щодо авторських прав — питання, яке дедалі більше турбує Голлівуд після позовів від великих студій.
Генеральний директор Moonvalley Наїм Талукдар продемонстрував, як Marey можна використовувати як на етапі препродакшну, так і постпродакшну — для тестування сцен до зйомки або коригування ракурсів камери після. Модель розуміє фізичні закони світу, що дозволяє їй імітувати рух, дотримуючись реальної фізики. Наприклад, відео з бізоном, що мчить прерією, можна перетворити на кадр з Cadillac, який їде тим самим ландшафтом, і трава з ґрунтом реагуватимуть на рух авто реалістично.
У той час як багато моделей ШІ пропонують генерацію на основі підказок із мінімальним доопрацюванням, Marey забезпечує так званий "гібридний кінематографічний підхід". Це дозволяє точно керувати камерою, маніпулювати 3D-сценами, редагувати кадри після генерації, а також використовувати спеціальні інструменти для превізуалізації, розкадрування та створення B-roll.
Для незалежних кінематографістів головна перевага Marey полягає у демократизації доступу до передових інструментів ШІ для сторітелінгу, особливо для тих, хто довгий час був відсторонений від традиційного кіновиробництва. "Вдома нам доводилося просити дозволу, щоб розповісти свої історії", — каже режисер Анхель Мануель Сото. — "ШІ дає можливість робити це на власних умовах, не відмовляючись від мрій лише тому, що хтось відмовив у фінансуванні".
Поки Moonvalley продовжує розвивати Marey, компанія планує у найближчі місяці додати нові інструменти: контроль освітлення, глибокі траєкторії об’єктів і бібліотеки персонажів. Ця технологія може суттєво змінити процеси препродакшну, дозволяючи творцям швидко візуалізувати концепції з фізично достовірним рухом, що потенційно економить значні час та ресурси.