NVIDIA Research a développé une technologie d’intelligence artificielle révolutionnaire qui promet de transformer la création d’effets visuels dans les industries du cinéma et du jeu vidéo. DiffusionRenderer, présenté lors du CVPR 2025, marque un changement fondamental en infographie en combinant deux processus traditionnellement distincts — le rendu inverse et le rendu direct — dans un cadre neuronal unifié.
Le système fonctionne en deux étapes grâce à des modèles de diffusion vidéo. D’abord, un moteur neuronal de rendu inverse analyse des séquences vidéo RGB standard et estime intelligemment les propriétés intrinsèques de la scène, générant des tampons de données essentiels (G-buffers) qui décrivent la géométrie (profondeur, normales) et les matériaux (couleur, rugosité, métallicité) au niveau du pixel. Ensuite, un moteur neuronal de rendu direct génère des images photoréalistes à partir de ces G-buffers, sans nécessiter de simulation explicite du transport de la lumière.
Ce qui rend DiffusionRenderer révolutionnaire, c’est qu’il élimine le besoin de représentations 3D précises de la scène et du lancer de rayons coûteux en calcul, requis par le rendu physique traditionnel (PBR). « Le PBR classique repose sur une géométrie 3D explicite, des propriétés de matériaux de haute qualité et des conditions d’éclairage qui sont souvent difficiles à obtenir dans des scénarios réels », explique Sanja Fidler, vice-présidente de la recherche en IA chez NVIDIA.
Pour les cinéastes indépendants et les petits studios, cette technologie représente une démocratisation des effets visuels haut de gamme. Les créateurs peuvent désormais filmer une simple vidéo RGB et utiliser DiffusionRenderer pour ajouter des éléments CGI projetant des ombres et des reflets réalistes — sans systèmes d’éclairage sophistiqués, balayages LiDAR ou équipements spécialisés. Le système permet aussi de reluminer dynamiquement des scènes entières, de modifier les matériaux et d’insérer de façon transparente des objets virtuels dans des séquences réelles.
Depuis sa création, NVIDIA a intégré DiffusionRenderer à ses modèles fondamentaux Cosmos Predict-1, obtenant des résultats de qualité nettement supérieure. La technologie est offerte sous licence Apache 2.0 et NVIDIA Open Model License, avec le code et les poids des modèles accessibles sur GitHub. À mesure que la résolution et la plage dynamique continuent de progresser, DiffusionRenderer est en voie de devenir un outil incontournable pour les créateurs, peu importe leur budget, changeant fondamentalement la façon dont on aborde la narration visuelle dans le cinéma, la publicité et le développement de jeux.