Nakapag-develop ang NVIDIA Research ng isang makabagong teknolohiya ng AI na magbabago sa paraan ng paggawa ng visual effects sa industriya ng pelikula at gaming. Ang DiffusionRenderer, na ipinresenta sa CVPR 2025, ay kumakatawan sa isang pundamental na pagbabago sa computer graphics sa pamamagitan ng pagsasama ng dalawang tradisyonal na magkahiwalay na proseso—ang inverse at forward rendering—sa isang pinag-isang neural na balangkas.
Gumagana ang sistema sa pamamagitan ng dalawang yugto gamit ang video diffusion models. Una, sinusuri ng neural inverse renderer ang karaniwang RGB video footage at matalinong tinatantiya ang mga intrinsic na katangian ng eksena, lumilikha ng mahahalagang data buffer (G-buffers) na naglalarawan ng heometriya (depth, normals) at materyales (kulay, gaspang, metallic) sa antas ng bawat pixel. Pagkatapos, ang neural forward renderer ay bumubuo ng photorealistic na mga imahe mula sa mga G-buffer na ito nang hindi na kailangan ng explicit na light transport simulation.
Ang nagpaparebolusyonaryo sa DiffusionRenderer ay ang kakayahan nitong alisin ang pangangailangan para sa eksaktong 3D scene representations at computationally expensive na path tracing na kinakailangan sa tradisyonal na physically-based rendering (PBR). "Ang klasikong PBR ay umaasa sa explicit na 3D geometry, de-kalidad na mga katangian ng materyales, at mga kondisyon ng ilaw na madalas ay mahirap makuha sa totoong mundo," paliwanag ni Sanja Fidler, VP ng AI Research sa NVIDIA.
Para sa mga independent filmmaker at maliliit na studio, ang teknolohiyang ito ay nagdadala ng democratization sa high-end visual effects. Maaari nang mag-shoot ng isang simpleng RGB video ang mga creator at gamitin ang DiffusionRenderer upang magdagdag ng CGI elements na may makatotohanang anino at repleksyon—nang hindi nangangailangan ng mamahaling light stage systems, LiDAR scans, o espesyal na kagamitan. Kaya ring i-relight ng sistema ang buong eksena, palitan ang mga materyales, at walang putol na magpasok ng virtual na mga bagay sa totoong footage.
Mula nang unang ma-develop, isinama na ng NVIDIA ang DiffusionRenderer sa kanilang Cosmos Predict-1 foundation models, na nagresulta sa mas mataas na kalidad ng output. Available ang teknolohiya sa ilalim ng Apache 2.0 at NVIDIA Open Model License, at maaaring ma-access ang code at model weights sa GitHub. Habang patuloy na tumataas ang resolution at dynamic range capabilities, inaasahang magiging mahalagang kasangkapan ang DiffusionRenderer para sa mga creator anuman ang budget, at babaguhin nito ang paraan ng visual storytelling sa pelikula, advertising, at game development.