NVIDIA가 올해 초 발표한 블랙웰 플랫폼의 대규모 업그레이드 버전인 '블랙웰 울트라' 아키텍처를 통해 AI 칩 시장에서 입지를 더욱 강화할 계획이다.
NVIDIA는 AI 학습(트레이닝) 시장을 장악해왔지만, AI 모델이 실제로 응답을 생성하는 추론(인퍼런스) 분야에서는 아마존, AMD, 브로드컴 등 경쟁사들의 도전이 거세지고 있다. AI 활용이 복잡해지고 확산됨에 따라 업계 전문가들은 향후 몇 년간 추론 시장이 폭발적으로 성장할 것으로 전망하며, 다양한 특화 하드웨어를 앞세운 경쟁사들이 NVIDIA의 독주에 도전장을 내밀고 있다. AI 학습이 대규모 데이터센터의 막대한 연산력을 요구하는 반면, 추론 워크로드는 보다 다양하고 특화된 하드웨어로도 처리할 수 있다는 점이 특징이다.
블랙웰 울트라 기반 제품은 2025년 하반기부터 파트너사를 통해 출시될 예정이다. 아마존 웹서비스(AWS), 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트럭처 등 주요 클라우드 사업자가 가장 먼저 블랙웰 울트라 인스턴스를 제공하며, 델, HPE, 레노버, 슈퍼마이크로 등 서버 제조사들도 자체 솔루션을 선보일 계획이다.
새로운 아키텍처는 NVIDIA의 2세대 트랜스포머 엔진과 커스텀 블랙웰 텐서 코어 기술, 그리고 TensorRT-LLM 및 NeMo 프레임워크 혁신을 결합해 대형 언어 모델의 추론과 학습 모두를 가속화한다. 블랙웰 울트라 텐서 코어는 표준 블랙웰 GPU 대비 2배의 어텐션 레이어 가속과 1.5배의 AI 연산 성능(FLOPS)을 제공한다.
NVIDIA에 따르면 블랙웰 울트라 시리즈는 칩당 최대 15 페타FLOPS(4비트 부동소수점 기준)의 연산 성능과 최대 288GB의 HBM3e 메모리를 탑재한다. AI 추론은 주로 메모리 용량에 의해 성능이 좌우되기 때문에, 더 많은 메모리는 더 큰 모델을 서비스할 수 있음을 의미한다. NVIDIA 하이퍼스케일 및 HPC 부문 부사장 이안 벅(Ian Buck)은 블랙웰 울트라가 이전 호퍼(Hopper) 세대 대비 10배 높은 처리량으로 추론 모델을 서비스할 수 있어, 응답 시간이 1분 이상에서 10초 수준으로 단축된다고 밝혔다.
NVIDIA는 최근 AI 워크로드용 MI300 시리즈를 출시하며 점유율을 높이고 있는 AMD와의 경쟁도 직면하고 있다. AMD는 2025년 AI 추론 역량 강화를 위해 Untether AI의 하드웨어·소프트웨어 엔지니어를 인수한다고 발표했다. 아마존 역시 Graviton4 및 Project Rainier의 Trainium 칩을 통해 AI 인프라 전체를 직접 통제하려는 야심을 보이고 있으며, Claude 4 등 주요 AI 모델을 비(非) NVIDIA 하드웨어에서 성공적으로 학습시키고 있다.
이러한 도전에도 불구하고, 시장 분석가들은 2025년 NVIDIA의 데이터센터 매출이 2,000억 달러에 달할 것으로 전망하며, 단기적으로 80~85%의 시장 점유율을 유지할 것으로 내다보고 있다. NVIDIA의 블랙웰 울트라 전략은 추론 시장에서의 지위를 공고히 하는 동시에, 학습 분야에서도 혁신을 이어가려는 의지가 반영된 것으로, 향후 최상위 AI 모델이 반드시 NVIDIA 하드웨어에만 의존해야 한다는 기존의 통념을 바꿀 수도 있다.