엔비디아 리서치는 영화 및 게임 산업 전반의 시각효과 제작 방식을 혁신할 AI 기술을 개발했다. CVPR 2025에서 발표된 DiffusionRenderer는 기존에 별개로 여겨졌던 역방향 렌더링과 순방향 렌더링을 하나의 신경망 프레임워크로 통합함으로써 컴퓨터 그래픽스 분야의 근본적인 변화를 예고한다.
이 시스템은 비디오 디퓨전 모델 기반의 2단계 접근법을 사용한다. 먼저, 신경망 기반 역방향 렌더러가 표준 RGB 비디오를 분석해 장면의 내재적 속성을 지능적으로 추정하고, 픽셀 단위의 기하(깊이, 노멀)와 소재(색상, 거칠기, 금속성 등)를 담은 G-버퍼를 생성한다. 이후 신경망 기반 순방향 렌더러가 이 G-버퍼를 활용해 명시적인 광선 추적 없이도 사실적인 이미지를 만들어낸다.
DiffusionRenderer의 혁신성은 기존 물리 기반 렌더링(PBR)에서 요구되던 정밀한 3D 장면 표현과 고비용 경로 추적의 필요성을 없앴다는 데 있다. 엔비디아 AI 리서치 부사장 산야 피들러는 "기존 PBR은 명확한 3D 기하, 고품질 소재 속성, 실제로는 얻기 힘든 조명 조건에 의존한다"고 설명한다.
이 기술은 독립 영화 제작자와 소규모 스튜디오에게 고급 시각효과의 대중화를 의미한다. 이제 창작자들은 단일 RGB 영상만으로도 DiffusionRenderer를 이용해 사실적인 그림자와 반사를 지닌 CGI 요소를 추가할 수 있다. 고가의 라이트스테이지, 라이다 스캔, 특수 장비가 필요 없다. 또한 전체 장면의 조명을 동적으로 변경하거나 소재를 바꾸고, 가상 객체를 실제 영상에 자연스럽게 삽입하는 것도 가능하다.
초기 개발 이후 엔비디아는 DiffusionRenderer를 Cosmos Predict-1 파운데이션 모델과 통합해 품질을 크게 향상시켰다. 이 기술은 Apache 2.0 및 NVIDIA 오픈 모델 라이선스 하에 공개되어 있으며, 코드와 모델 가중치는 GitHub에서 이용할 수 있다. 해상도와 다이내믹 레인지가 지속적으로 향상됨에 따라, DiffusionRenderer는 예산 규모와 무관하게 모든 창작자에게 필수 도구로 자리잡을 전망이다. 이는 영화, 광고, 게임 개발 등 시각적 스토리텔링 방식에 근본적인 변화를 가져올 것이다.