아마존 웹 서비스(AWS)가 오늘날 강력한 AI 프로세서가 발생시키는 막대한 열 관리라는 AI 인프라의 최대 과제 중 하나를 해결할 혁신적 냉각 솔루션을 선보였다.
'인로우 히트 익스체인저(IRHX)'는 엔비디아 최신 세대 GPU의 냉각을 위한 AWS만의 맞춤형 접근법을 보여준다. 이 GPU들은 대규모 AI 모델의 학습 및 실행에 필수적이지만, 막대한 에너지를 소모한다. 이전 세대 GPU에는 충분했던 기존 공기 냉각 시스템으로는 엔비디아 블랙웰 기반 칩의 열 수요를 감당할 수 없다.
AWS 컴퓨트 및 머신러닝 서비스 부문 부사장 데이브 브라운(Dave Brown)은 "기존 냉각 솔루션은 데이터센터 바닥 공간을 지나치게 차지하거나, 수자원 사용량을 크게 늘릴 수밖에 없었다"고 설명했다. IRHX는 펌핑 유닛, 수분배 캐비닛, 팬 코일로 구성된 시스템을 통해 냉각수를 서버 행 가까이 순환시켜, 데이터센터 전면 리노베이션 없이도 고집적 GPU에서 발생하는 열을 효과적으로 제거한다.
이 냉각 기술은 AWS가 새롭게 출시한 P6e 인스턴스와 함께 작동한다. 이 인스턴스는 엔비디아 GB200 NVL72 플랫폼을 활용하는데, 이는 하나의 랙에 72개의 블랙웰 GPU가 상호 연결된 슈퍼컴퓨팅 시스템이다. 해당 구성은 360페타플롭스의 컴퓨팅 파워와 13TB가 넘는 메모리를 제공, 고객이 훨씬 더 대규모 AI 모델을 빠르고 효율적으로 학습할 수 있게 한다.
성능 향상 외에도 IRHX는 냉각수를 재순환하는 '클로즈드 루프' 방식을 적용해 수자원 사용량을 늘리지 않아 친환경적이다. AWS는 이 신형 냉각 시스템이 기존 설계 대비 최대 46%까지 기계적 에너지 소비를 줄일 수 있다고 추산한다.
IRHX 개발은 AWS의 맞춤형 인프라 부품 개발 전략과도 맞닿아 있다. 최근 몇 년간 AWS는 자체 칩, 스토리지 시스템, 네트워킹 장비 개발에 대규모 투자를 이어왔다. 이러한 접근법은 재정적으로도 효과를 입증, 2025년 1분기 AWS는 사업부 출범 이래 최고 영업이익률을 기록했다.
마이크로소프트, 구글, 메타 등 다른 빅테크 기업들도 AI 워크로드를 위한 맞춤형 하드웨어 전략을 추진 중이지만, AWS는 전 세계에 걸친 방대한 데이터센터 인프라와 대규모 맞춤형 하드웨어 배치 경험을 바탕으로 경쟁 우위를 유지하고 있다. IRHX 기술은 AWS의 AI 인프라 리더십을 한층 강화하며, 고도화된 AI 컴퓨팅을 더욱 효율적이고 지속가능하며, 접근성 높게 만든다.