Изследователският екип на NVIDIA разработи революционна AI технология, която обещава да промени начина, по който се създават визуални ефекти във филмовата и гейминг индустрията. DiffusionRenderer, представен на CVPR 2025, бележи фундаментална промяна в компютърната графика, като комбинира два традиционно отделни процеса – обратно и директно рендериране – в единна невронна рамка.
Системата работи чрез двуетапен подход, задвижван от видео дифузионни модели. Първо, невронен обратен рендер анализира стандартни RGB видеокадри и интелигентно оценява вътрешните свойства на сцената, генерирайки ключови буфери с данни (G-buffers), които описват геометрията (дълбочина, нормали) и материалите (цвят, грапавост, металност) на ниво пиксел. След това невронен директен рендер създава фотореалистични изображения от тези G-buffers без необходимост от явна симулация на светлинния транспорт.
Това, което прави DiffusionRenderer революционен, е фактът, че елиминира нуждата от прецизни 3D представяния на сцената и изключително скъпото трасиране на лъчи, изисквано от традиционното физически базирано рендериране (PBR). „Класическият PBR разчита на експлицитна 3D геометрия, висококачествени материални свойства и светлинни условия, които често са непрактични за постигане в реални ситуации“, обяснява Саня Фидлър, вицепрезидент по AI изследвания в NVIDIA.
За независимите филммейкъри и малките студия тази технология представлява демократизация на високия клас визуални ефекти. Създателите вече могат да заснемат обикновено RGB видео и да използват DiffusionRenderer, за да добавят CGI елементи с реалистични сенки и отражения – без скъпи светлинни сцени, LiDAR сканирания или специализирано оборудване. Системата може също така динамично да променя осветлението на цели сцени, да сменя материали и безпроблемно да вмъква виртуални обекти в реални кадри.
От първоначалното си развитие насам NVIDIA интегрира DiffusionRenderer със своите foundation модели Cosmos Predict-1, постигайки значително по-високо качество на резултатите. Технологията е достъпна под лицензи Apache 2.0 и NVIDIA Open Model License, като кодът и теглата на моделите са налични в GitHub. С разширяването на възможностите за резолюция и динамичен диапазон, DiffusionRenderer се очертава като незаменим инструмент за създатели с всякакви бюджети, променяйки из основи подхода към визуалното разказване във филмовата индустрия, рекламата и разработката на игри.