Исследовательское подразделение NVIDIA разработало инновационную ИИ-технологию, которая обещает изменить подход к созданию визуальных эффектов в киноиндустрии и игровой сфере. DiffusionRenderer, представленный на конференции CVPR 2025, знаменует собой фундаментальный сдвиг в компьютерной графике, объединяя два традиционно раздельных процесса — обратный и прямой рендеринг — в единую нейросетевую платформу.
Система работает в два этапа с использованием видеодиффузионных моделей. Сначала нейросетевой обратный рендерер анализирует стандартные RGB-видеозаписи и интеллектуально оценивает внутренние характеристики сцены, формируя ключевые буферы данных (G-буферы), описывающие геометрию (глубину, нормали) и материалы (цвет, шероховатость, металлическость) на уровне пикселей. Затем нейросетевой прямой рендерер создает фотореалистичные изображения на основе этих G-буферов, не требуя явного моделирования распространения света.
Главное революционное отличие DiffusionRenderer — отсутствие необходимости в точном 3D-представлении сцены и ресурсоемком трассировании лучей, на которых строится классический физически корректный рендеринг (PBR). «Классический PBR требует явной 3D-геометрии, высококачественных характеристик материалов и условий освещения, которые часто невозможно получить в реальных условиях», — объясняет Саня Фидлер, вице-президент по исследованиям в области ИИ компании NVIDIA.
Для независимых кинематографистов и небольших студий эта технология означает демократизацию высококлассных визуальных эффектов. Теперь создатели могут снять обычное RGB-видео и с помощью DiffusionRenderer добавить CGI-элементы с реалистичными тенями и отражениями — без дорогостоящих световых установок, LiDAR-сканирования или специализированного оборудования. Система также позволяет динамически перенастраивать освещение всей сцены, менять материалы и бесшовно внедрять виртуальные объекты в реальную съемку.
С момента первоначальной разработки NVIDIA интегрировала DiffusionRenderer с базовыми моделями Cosmos Predict-1, что позволило достичь значительно более высокого качества результатов. Технология доступна по лицензиям Apache 2.0 и NVIDIA Open Model License, а исходный код и веса моделей размещены на GitHub. По мере роста разрешения и динамического диапазона DiffusionRenderer становится незаменимым инструментом для создателей с любым бюджетом, кардинально меняя подход к визуальному сторителлингу в кино, рекламе и разработке игр.