NVIDIA Research on kehittänyt uraauurtavan tekoälyteknologian, joka lupaa mullistaa visuaalisten tehosteiden luomisen elokuva- ja peliteollisuudessa. DiffusionRenderer, joka esiteltiin CVPR 2025 -konferenssissa, edustaa perustavanlaatuista muutosta tietokonegrafiikassa yhdistämällä kaksi perinteisesti erillistä prosessia—inverssi- ja eteenpäinrenderöinnin—yhdeksi neuroverkkopohjaiseksi järjestelmäksi.
Järjestelmä toimii kaksivaiheisella lähestymistavalla, jossa hyödynnetään videodiffuusiomalleja. Ensin neuroverkkopohjainen inverssirenderöijä analysoi tavallista RGB-videokuvaa ja arvioi älykkäästi kohtauksen sisäiset ominaisuudet, tuottaen olennaisia tietopuskureita (G-buffereita), jotka kuvaavat geometrian (syvyys, normaalit) ja materiaalit (väri, karheus, metallisuus) pikselitasolla. Tämän jälkeen neuroverkkopohjainen eteenpäinrenderöijä luo näistä G-buffereista fotorealistisia kuvia ilman, että tarvitaan erillistä valon kulun simulointia.
DiffusionRendererin mullistavuus piilee siinä, että se poistaa tarpeen tarkalle 3D-kohtauksen mallinnukselle ja laskennallisesti raskaalle reitinhakupohjaiselle renderöinnille (path tracing), jota perinteinen fysikaalisesti pohjautuva renderöinti (PBR) vaatii. "Klassinen PBR perustuu eksplisiittiseen 3D-geometriaan, korkealaatuisiin materiaaliominaisuuksiin ja valaistusolosuhteisiin, joita on usein hankala toteuttaa todellisissa tilanteissa", selittää Sanja Fidler, NVIDIAn tekoälytutkimuksen varatoimitusjohtaja.
Itsenäisille elokuvantekijöille ja pienemmille studioille tämä teknologia merkitsee huipputason visuaalisten tehosteiden demokratisoitumista. Tekijät voivat nyt kuvata tavallisen RGB-videon ja käyttää DiffusionRendereria lisätäkseen CGI-elementtejä, jotka heijastavat realistisia varjoja ja heijastuksia—ilman kalliita valolavajärjestelmiä, LiDAR-skannauksia tai erikoislaitteistoja. Järjestelmä mahdollistaa myös koko kohtauksen dynaamisen uudelleenvalaistuksen, materiaalien vaihdon ja virtuaalisten objektien saumattoman lisäämisen oikeaan kuvamateriaaliin.
Kehitystyön alkuvaiheiden jälkeen NVIDIA on integroinut DiffusionRendererin Cosmos Predict-1 -perusmalliinsa, saavuttaen huomattavasti korkealaatuisempia tuloksia. Teknologia on saatavilla Apache 2.0 -lisenssillä sekä NVIDIA Open Model Licensellä, ja koodi sekä mallipainot löytyvät GitHubista. Kun resoluutio- ja dynaaminen alue kasvavat edelleen, DiffusionRendererista on tulossa olennainen työkalu tekijöille kaikilla budjettitasoilla, muuttaen perusteellisesti visuaalisen tarinankerronnan tapoja elokuvissa, mainonnassa ja pelikehityksessä.