NVIDIA Research a mis au point une technologie d’intelligence artificielle révolutionnaire qui promet de transformer la création d’effets visuels dans les industries du cinéma et du jeu vidéo. Présenté lors du CVPR 2025, DiffusionRenderer marque un tournant fondamental dans le domaine des graphismes informatiques en combinant deux processus traditionnellement distincts — le rendu inverse et le rendu direct — au sein d’un cadre neuronal unifié.
Le système repose sur une approche en deux étapes, propulsée par des modèles de diffusion vidéo. D’abord, un moteur neuronal de rendu inverse analyse des séquences vidéo RGB standard et estime intelligemment les propriétés intrinsèques de la scène, générant des tampons de données essentiels (G-buffers) qui décrivent la géométrie (profondeur, normales) et les matériaux (couleur, rugosité, métallisé) au niveau du pixel. Ensuite, un moteur neuronal de rendu direct génère des images photoréalistes à partir de ces G-buffers, sans nécessiter de simulation explicite du transport de la lumière.
Ce qui rend DiffusionRenderer révolutionnaire, c’est qu’il élimine le besoin de représentations 3D précises de la scène et du path tracing coûteux en calculs, requis par le rendu physique traditionnel (PBR). « Le PBR classique repose sur une géométrie 3D explicite, des propriétés de matériaux de haute qualité et des conditions d’éclairage souvent impossibles à obtenir dans des scénarios réels », explique Sanja Fidler, vice-présidente de la recherche en IA chez NVIDIA.
Pour les cinéastes indépendants et les petits studios, cette technologie représente une démocratisation des effets visuels haut de gamme. Les créateurs peuvent désormais filmer une simple vidéo RGB et utiliser DiffusionRenderer pour ajouter des éléments CGI projetant des ombres et des reflets réalistes — sans systèmes d’éclairage sophistiqués, scans LiDAR ou équipements spécialisés. Le système permet également de re-éclairer dynamiquement des scènes entières, de modifier les matériaux et d’insérer de façon transparente des objets virtuels dans des séquences réelles.
Depuis ses débuts, NVIDIA a intégré DiffusionRenderer à ses modèles fondamentaux Cosmos Predict-1, atteignant des résultats de qualité nettement supérieure. La technologie est disponible sous licence Apache 2.0 et NVIDIA Open Model License, avec code et poids des modèles accessibles sur GitHub. À mesure que la résolution et la plage dynamique continuent de progresser, DiffusionRenderer s’impose comme un outil incontournable pour les créateurs, quel que soit leur budget, changeant radicalement l’approche de la narration visuelle dans le cinéma, la publicité et le développement de jeux vidéo.