NVIDIA Researchは、映画やゲーム業界における映像効果の制作方法を根本から変革する画期的なAI技術を開発しました。CVPR 2025で発表された「DiffusionRenderer」は、従来は別々だった逆レンダリングと順レンダリングという2つのプロセスを、統合されたニューラルフレームワークとして融合させたものです。
このシステムは、ビデオ拡散モデルによる2段階のアプローチで動作します。まず、ニューラル逆レンダラーが標準的なRGBビデオ映像を解析し、シーンの本質的な特性を知的に推定します。これにより、ピクセル単位で幾何形状（深度、法線）やマテリアル（色、粗さ、金属度）を記述するための重要なデータバッファ（Gバッファ）が生成されます。次に、ニューラル順レンダラーがこれらのGバッファから、明示的な光輸送シミュレーションを必要とせずにフォトリアルな画像を生成します。
DiffusionRendererが革新的なのは、従来の物理ベースレンダリング（PBR）で必要だった精密な3Dシーン表現や計算負荷の高いパストレーシングを不要にした点です。NVIDIAのAIリサーチ担当副社長であるサンヤ・フィドラー氏は「従来のPBRは、明示的な3Dジオメトリ、高品質なマテリアル特性、現実世界では入手が難しいライティング条件に依存していました」と説明します。
インディペンデント映画制作者や小規模スタジオにとって、この技術はハイエンドな映像効果の民主化を意味します。クリエイターは、1本のRGBビデオを撮影するだけで、DiffusionRendererを使ってリアルな影や反射を伴うCGI要素を追加できるようになります。高価なライトステージシステムやLiDARスキャン、特殊な機材は不要です。また、シーン全体のライティングやマテリアルの動的な変更、バーチャルオブジェクトのシームレスな挿入も可能です。
初期開発以降、NVIDIAはDiffusionRendererをCosmos Predict-1ファウンデーションモデルと統合し、さらに高品質な結果を実現しています。この技術はApache 2.0およびNVIDIA Open Model Licenseのもとで公開されており、コードやモデルの重みはGitHubで入手可能です。解像度やダイナミックレンジの向上とともに、DiffusionRendererはあらゆる予算規模のクリエイターにとって不可欠なツールとなり、映画、広告、ゲーム開発における映像表現のアプローチを根本的に変えていくでしょう。