Дослідники NVIDIA розробили революційну технологію штучного інтелекту, яка обіцяє змінити підхід до створення візуальних ефектів у кіноіндустрії та ігровому секторі. DiffusionRenderer, представлений на CVPR 2025, означає фундаментальний зсув у комп'ютерній графіці, об'єднуючи два традиційно розділені процеси — зворотній та прямий рендеринг — у єдину нейронну систему.
Система працює у два етапи, використовуючи відеодіфузійні моделі. Спочатку нейронний зворотній рендерер аналізує стандартне RGB-відео та інтелектуально оцінює внутрішні властивості сцени, генеруючи ключові буфери даних (G-буфери), які описують геометрію (глибина, нормалі) та матеріали (колір, шорсткість, металевість) на рівні пікселів. Далі нейронний прямий рендерер створює фотореалістичні зображення на основі цих G-буферів без необхідності явного моделювання світлового транспорту.
Революційність DiffusionRenderer полягає в тому, що він усуває потребу у точному 3D-представленні сцени та обчислювально затратному трасуванні променів, яке вимагає класичний фізично-коректний рендеринг (PBR). «Класичний PBR спирається на явну 3D-геометрію, високоякісні властивості матеріалів і умови освітлення, які часто важко отримати в реальних умовах», — пояснює Саня Фідлер, віцепрезидентка з досліджень ШІ в NVIDIA.
Для незалежних кінематографістів і невеликих студій ця технологія означає демократизацію високоякісних візуальних ефектів. Тепер творці можуть зняти звичайне RGB-відео й за допомогою DiffusionRenderer додати CGI-елементи з реалістичними тінями та відбиттями — без дорогих світлових сцен, LiDAR-сканування чи спеціалізованого обладнання. Система також дозволяє динамічно змінювати освітлення всієї сцени, змінювати матеріали та безшовно вставляти віртуальні об'єкти у реальні відео.
З моменту початкової розробки NVIDIA інтегрувала DiffusionRenderer із своїми базовими моделями Cosmos Predict-1, досягнувши значно вищої якості результатів. Технологія доступна за ліцензіями Apache 2.0 та NVIDIA Open Model License, а код і ваги моделей відкриті на GitHub. Із подальшим зростанням роздільної здатності та динамічного діапазону DiffusionRenderer має всі шанси стати незамінним інструментом для творців будь-якого бюджету, докорінно змінюючи підхід до візуального сторітелінгу у кіно, рекламі та розробці ігор.