NVIDIA Research har udviklet en banebrydende AI-teknologi, der lover at revolutionere måden, visuelle effekter skabes på i film- og spilindustrien. DiffusionRenderer, præsenteret på CVPR 2025, markerer et fundamentalt skifte inden for computer-grafik ved at kombinere to traditionelt adskilte processer—invers og fremadrettet rendering—i en samlet neuralt rammeværk.
Systemet fungerer gennem en totrins-tilgang baseret på video-diffusionsmodeller. Først analyserer en neuralt invers renderer almindelig RGB-video og estimerer intelligent scenens iboende egenskaber, hvilket genererer essentielle data-buffere (G-buffere), der beskriver geometri (dybde, normaler) og materialer (farve, ruhed, metallisk) på pixel-niveau. Derefter genererer en neuralt fremadrettet renderer fotorealistiske billeder ud fra disse G-buffere uden behov for eksplicit simulering af lysstransport.
Det, der gør DiffusionRenderer revolutionerende, er, at den eliminerer behovet for præcise 3D-scene-repræsentationer og de beregningstunge path tracing-processer, som traditionel fysisk-baseret rendering (PBR) kræver. "Klassisk PBR er afhængig af eksplicit 3D-geometri, materialer af høj kvalitet og lysforhold, som ofte er upraktiske at opnå i virkelige scenarier," forklarer Sanja Fidler, VP for AI Research hos NVIDIA.
For uafhængige filmskabere og mindre studier repræsenterer denne teknologi en demokratisering af avancerede visuelle effekter. Skabere kan nu optage en enkelt RGB-video og bruge DiffusionRenderer til at tilføje CGI-elementer, der kaster realistiske skygger og reflektioner—uden dyre lysstage-systemer, LiDAR-scanninger eller specialudstyr. Systemet kan også dynamisk genbelyse hele scener, ændre materialer og sømløst indsætte virtuelle objekter i rigtige optagelser.
Siden den første udvikling har NVIDIA integreret DiffusionRenderer med deres Cosmos Predict-1 foundation-modeller og opnået markant højere kvalitet. Teknologien er tilgængelig under Apache 2.0 og NVIDIA Open Model License, med kode og modelvægte tilgængelige på GitHub. Efterhånden som opløsning og dynamisk område fortsætter med at vokse, er DiffusionRenderer på vej til at blive et uundværligt værktøj for skabere på alle budgetniveauer og vil fundamentalt ændre tilgangen til visuel historiefortælling i film, reklame og spiludvikling.