NVIDIA Research opracowała przełomową technologię AI, która może zrewolucjonizować sposób tworzenia efektów wizualnych w branży filmowej i gamingowej. DiffusionRenderer, zaprezentowany podczas CVPR 2025, oznacza fundamentalną zmianę w grafice komputerowej, łącząc dwa tradycyjnie odrębne procesy – odwrotne i bezpośrednie renderowanie – w jednym neuralnym frameworku.
System działa w dwóch etapach, wykorzystując modele dyfuzyjne dla wideo. Najpierw neuralny renderer odwrotny analizuje standardowe nagranie wideo RGB i inteligentnie szacuje wewnętrzne właściwości sceny, generując kluczowe bufory danych (G-buffery), które opisują geometrię (głębię, normalne) oraz materiały (kolor, szorstkość, metaliczność) na poziomie piksela. Następnie neuralny renderer bezpośredni generuje fotorealistyczne obrazy z tych G-bufferów, bez konieczności jawnej symulacji transportu światła.
To, co czyni DiffusionRenderer rewolucyjnym, to eliminacja potrzeby precyzyjnych reprezentacji 3D sceny oraz kosztownego śledzenia promieni, które wymagane jest w tradycyjnym renderingu fizycznie poprawnym (PBR). „Klasyczny PBR opiera się na jawnej geometrii 3D, wysokiej jakości właściwościach materiałów i warunkach oświetleniowych, które często są trudne do uzyskania w rzeczywistych scenariuszach” – wyjaśnia Sanja Fidler, wiceprezes ds. badań AI w NVIDIA.
Dla niezależnych filmowców i mniejszych studiów technologia ta oznacza demokratyzację zaawansowanych efektów wizualnych. Twórcy mogą teraz nagrać zwykłe wideo RGB i wykorzystać DiffusionRenderer do dodania elementów CGI rzucających realistyczne cienie i odbicia – bez kosztownych systemów light stage, skanów LiDAR czy specjalistycznego sprzętu. System pozwala także dynamicznie zmieniać oświetlenie całych scen, modyfikować materiały oraz płynnie wstawiać wirtualne obiekty do rzeczywistych ujęć.
Od czasu powstania NVIDIA zintegrowała DiffusionRenderer z modelami bazowymi Cosmos Predict-1, osiągając znacznie wyższą jakość rezultatów. Technologia jest dostępna na licencji Apache 2.0 oraz NVIDIA Open Model License, a kod i wagi modeli można znaleźć na GitHubie. Wraz ze wzrostem rozdzielczości i zakresu dynamicznego DiffusionRenderer ma szansę stać się niezbędnym narzędziem dla twórców na każdym poziomie budżetowym, fundamentalnie zmieniając podejście do wizualnej narracji w filmie, reklamie i produkcji gier.