Výskumníci z NVIDIA vyvinuli prelomovú AI technológiu, ktorá sľubuje zásadne zmeniť spôsob tvorby vizuálnych efektov vo filmovom a hernom priemysle. DiffusionRenderer, predstavený na CVPR 2025, predstavuje zásadný posun v počítačovej grafike tým, že spája dva tradične oddelené procesy – inverzné a priame renderovanie – do jednotného neurónového rámca.
Systém funguje v dvoch krokoch, ktoré poháňajú video difúzne modely. Najprv neurónový inverzný renderer analyzuje bežné RGB videozáznamy a inteligentne odhaduje vnútorné vlastnosti scény, pričom generuje kľúčové dátové buffery (G-buffery), ktoré popisujú geometriu (hĺbka, normály) a materiály (farba, drsnosť, kovovosť) na úrovni pixelov. Následne neurónový priamy renderer generuje fotorealistické obrázky z týchto G-bufferov bez potreby explicitnej simulácie šírenia svetla.
To, čo robí DiffusionRenderer revolučným, je odstránenie potreby presných 3D reprezentácií scény a výpočtovo náročného path tracingu, ktorý vyžaduje tradičné fyzikálne založené renderovanie (PBR). „Klasické PBR sa spolieha na explicitnú 3D geometriu, kvalitné materiálové vlastnosti a svetelné podmienky, ktoré je v reálnych podmienkach často nemožné získať,“ vysvetľuje Sanja Fidler, viceprezidentka pre AI výskum v NVIDIA.
Pre nezávislých filmárov a menšie štúdiá táto technológia znamená demokratizáciu špičkových vizuálnych efektov. Tvorcovia môžu natočiť obyčajné RGB video a pomocou DiffusionRenderer doň pridať CGI prvky vrhajúce realistické tiene a odrazy – bez drahých svetelných scén, LiDAR skenov či špecializovaného vybavenia. Systém dokáže tiež dynamicky preosvetliť celé scény, meniť materiály a plynulo vkladať virtuálne objekty do reálnych záberov.
Od svojho vzniku NVIDIA integrovala DiffusionRenderer s foundation modelmi Cosmos Predict-1, čím dosiahla výrazne vyššiu kvalitu výsledkov. Technológia je dostupná pod licenciami Apache 2.0 a NVIDIA Open Model License, pričom kód aj modelové váhy sú voľne dostupné na GitHube. S rastúcim rozlíšením a dynamickým rozsahom má DiffusionRenderer potenciál stať sa nepostrádateľným nástrojom pre tvorcov všetkých rozpočtových kategórií a zásadne zmeniť prístup k vizuálnemu rozprávaniu príbehov vo filme, reklame aj hernom vývoji.