NVIDIA Research hat eine bahnbrechende KI-Technologie entwickelt, die das Erstellen von visuellen Effekten in der Film- und Spielebranche grundlegend verändern dürfte. DiffusionRenderer, vorgestellt auf der CVPR 2025, markiert einen fundamentalen Wandel in der Computergrafik, indem zwei traditionell getrennte Prozesse – inverses und vorwärtsgerichtetes Rendering – in einem einheitlichen neuronalen Framework zusammengeführt werden.
Das System arbeitet in einem zweistufigen Ansatz, der auf Videodiffusionsmodellen basiert. Zunächst analysiert ein neuronaler inverser Renderer gewöhnliches RGB-Videomaterial und schätzt intelligent die intrinsischen Eigenschaften der Szene. Dabei werden essenzielle Datenpuffer (G-Buffers) erzeugt, die Geometrie (Tiefe, Normalen) und Materialien (Farbe, Rauheit, Metallizität) auf Pixelebene beschreiben. Anschließend erzeugt ein neuronaler vorwärtsgerichteter Renderer fotorealistische Bilder aus diesen G-Buffern – ohne explizite Simulation des Lichttransports.
Das Revolutionäre an DiffusionRenderer ist, dass keine präzisen 3D-Szenenrepräsentationen und keine rechenintensiven Path-Tracing-Verfahren mehr nötig sind, wie sie beim klassischen physikalisch basierten Rendering (PBR) erforderlich sind. „Klassisches PBR setzt explizite 3D-Geometrie, hochwertige Materialeigenschaften und Lichtbedingungen voraus, die in realen Szenarien oft kaum zu realisieren sind“, erklärt Sanja Fidler, VP of AI Research bei NVIDIA.
Für unabhängige Filmemacher und kleinere Studios bedeutet diese Technologie eine Demokratisierung hochwertiger visueller Effekte. Kreative können nun ein einfaches RGB-Video aufnehmen und mit DiffusionRenderer CGI-Elemente hinzufügen, die realistische Schatten und Reflexionen werfen – ganz ohne teure Light-Stage-Systeme, LiDAR-Scans oder Spezialausrüstung. Das System kann zudem ganze Szenen dynamisch neu beleuchten, Materialien verändern und virtuelle Objekte nahtlos in reale Aufnahmen einfügen.
Seit der ersten Entwicklung hat NVIDIA DiffusionRenderer mit den Cosmos Predict-1 Foundation Models integriert und damit die Ergebnisqualität deutlich gesteigert. Die Technologie steht unter der Apache 2.0- und der NVIDIA Open Model License zur Verfügung, Quellcode und Modellgewichte sind auf GitHub abrufbar. Mit steigender Auflösung und wachsendem Dynamikumfang dürfte DiffusionRenderer zu einem unverzichtbaren Werkzeug für Kreative aller Budgets werden – und grundlegend verändern, wie visuelles Storytelling in Film, Werbung und Spieleentwicklung gedacht wird.