NVIDIA Research har utvecklat en banbrytande AI-teknik som lovar att förändra hur visuella effekter skapas inom film- och spelindustrin. DiffusionRenderer, som presenterades på CVPR 2025, innebär ett fundamentalt skifte inom datorgrafik genom att kombinera två traditionellt separata processer—invers och framåtgående rendering—i ett enhetligt neuralt ramverk.
Systemet arbetar i två steg med hjälp av videodiffusionsmodeller. Först analyserar en neuralt driven invers renderer vanliga RGB-videor och uppskattar intelligent scenens inneboende egenskaper, och genererar viktiga databuffertar (G-buffers) som beskriver geometri (djup, normaler) och material (färg, råhet, metalliskhet) på pixelnivå. Därefter skapar en neuralt driven framåtgående renderer fotorealistiska bilder från dessa G-buffers utan att kräva explicit simulering av ljustransport.
Det som gör DiffusionRenderer revolutionerande är att behovet av exakta 3D-scener och beräkningsintensiv strålspårning, som traditionell fysikbaserad rendering (PBR) kräver, elimineras. "Klassisk PBR bygger på explicit 3D-geometri, högkvalitativa materialegenskaper och ljusförhållanden som ofta är opraktiska att fånga i verkliga miljöer," förklarar Sanja Fidler, VP för AI-forskning på NVIDIA.
För oberoende filmskapare och mindre studior innebär denna teknik en demokratisering av avancerade visuella effekter. Kreatörer kan nu filma med en vanlig RGB-kamera och använda DiffusionRenderer för att lägga till CGI-element som kastar realistiska skuggor och reflektioner—utan dyra ljusriggar, LiDAR-skanningar eller specialutrustning. Systemet kan även dynamiskt belysa om hela scener, ändra material och sömlöst infoga virtuella objekt i verkliga videor.
Sedan den första utvecklingen har NVIDIA integrerat DiffusionRenderer med sina Cosmos Predict-1 foundation-modeller och uppnått avsevärt högre kvalitet. Tekniken finns tillgänglig under Apache 2.0 och NVIDIA Open Model License, med kod och modellvikter tillgängliga på GitHub. I takt med att upplösning och dynamiskt omfång fortsätter att öka, är DiffusionRenderer på väg att bli ett oumbärligt verktyg för kreatörer på alla budgetnivåer och förändrar i grunden hur visuellt berättande närmas inom film, reklam och spelutveckling.