NVIDIA Research razvio je revolucionarnu AI tehnologiju koja obećava transformirati način na koji se vizualni efekti stvaraju u filmskoj i gaming industriji. DiffusionRenderer, predstavljen na CVPR 2025, označava temeljni pomak u računalnoj grafici spajajući dva tradicionalno odvojena procesa—inverzno i direktno renderiranje—u jedinstveni neuronski okvir.
Sustav funkcionira kroz dvostupanjski pristup temeljen na video difuzijskim modelima. Prvo, neuronski inverzni renderer analizira standardnu RGB video snimku i inteligentno procjenjuje intrinzična svojstva scene, generirajući ključne podatkovne međuspremnike (G-buffere) koji opisuju geometriju (dubina, normale) i materijale (boja, hrapavost, metalnost) na razini piksela. Zatim, neuronski direktni renderer generira fotorealistične slike iz tih G-buffera bez potrebe za eksplicitnom simulacijom prijenosa svjetlosti.
Ono što DiffusionRenderer čini revolucionarnim jest činjenica da eliminira potrebu za preciznim 3D prikazima scene i računalno zahtjevnim path tracingom koji zahtijeva tradicionalno fizički utemeljeno renderiranje (PBR). "Klasični PBR oslanja se na eksplicitnu 3D geometriju, visokokvalitetna svojstva materijala i uvjete osvjetljenja koji su često nepraktični za dobiti u stvarnim scenarijima," objašnjava Sanja Fidler, potpredsjednica za AI istraživanje u NVIDIA-i.
Za neovisne filmaše i manje studije, ova tehnologija predstavlja demokratizaciju vrhunskih vizualnih efekata. Stvaratelji sada mogu snimiti običan RGB video i koristiti DiffusionRenderer za dodavanje CGI elemenata koji bacaju realistične sjene i refleksije—bez skupih sustava za osvjetljenje, LiDAR skenera ili specijalizirane opreme. Sustav također može dinamički osvijetliti cijele scene, mijenjati materijale i besprijekorno umetati virtualne objekte u stvarne snimke.
Od početnog razvoja, NVIDIA je integrirala DiffusionRenderer sa svojim Cosmos Predict-1 temeljnim modelima, postigavši znatno višu kvalitetu rezultata. Tehnologija je dostupna pod Apache 2.0 i NVIDIA Open Model License licencama, a kod i težine modela dostupni su na GitHubu. Kako se mogućnosti rezolucije i dinamičkog raspona nastavljaju povećavati, DiffusionRenderer je na putu da postane ključni alat za stvaratelje svih budžeta, temeljno mijenjajući pristup vizualnom pripovijedanju u filmu, oglašavanju i razvoju igara.