Inilunsad ng Amazon Web Services (AWS) ang isang makabagong solusyon sa pagpapalamig upang tugunan ang isa sa pinakamalalaking hamon ng AI sa imprastruktura: ang pamamahala sa matinding init na nililikha ng mga makabagong AI processor.
Ang In-Row Heat Exchanger (IRHX) ay kumakatawan sa custom na pamamaraan ng AWS sa pagpapalamig ng pinakabagong henerasyon ng graphics processing units (GPU) ng Nvidia, na mahalaga sa pagsasanay at pagpapatakbo ng malalaking AI model ngunit nangangailangan ng napakalaking enerhiya. Hindi na sapat ang mga tradisyunal na air cooling system para sa thermal demands ng mga chip na nakabatay sa Nvidia Blackwell.
"Sasakupin nila ang napakaraming espasyo sa data center o magdudulot ng malaking pagtaas sa paggamit ng tubig," paliwanag ni Dave Brown, Bise Presidente ng Compute and Machine Learning Services sa AWS, ukol sa kakulangan ng mga kasalukuyang cooling solution. Nilulutas ng IRHX ang mga limitasyong ito sa pamamagitan ng pagpapadaloy ng pinalamig na likido malapit sa mga hanay ng server gamit ang sistema ng pumping units, water distribution cabinets, at fan coils, na epektibong nag-aalis ng init mula sa siksik na GPU nang hindi kinakailangang baguhin nang malakihan ang disenyo ng data center.
Kaakibat ng teknolohiyang ito ang bagong inilunsad na P6e instances ng AWS, na gumagamit ng Nvidia GB200 NVL72 platform—isang supercomputing system na naglalaman ng 72 Blackwell GPU na magkakaugnay sa loob ng isang rack. Nagbibigay ito ng 360 petaflops ng computing power at mahigit 13TB ng memory, na nagpapahintulot sa mga kustomer na magsanay ng mas malalaking AI model nang mas mabilis at episyente.
Bukod sa benepisyo sa performance, gumagamit ang IRHX ng "closed loop" cooling mechanism na muling pinaiikot ang coolant nang hindi tumataas ang konsumo ng tubig, kaya't ito ay mas makakalikasan. Tinataya ng AWS na ang mga bagong cooling system nito ay maaaring magbawas ng mechanical energy consumption ng hanggang 46% sa peak cooling conditions kumpara sa mga naunang disenyo.
Ang pagbuo ng IRHX ay bahagi ng mas malawak na estratehiya ng AWS sa paglikha ng mga custom na bahagi ng imprastruktura. Sa mga nakaraang taon, malaki ang naging puhunan ng kumpanya sa paggawa ng sarili nitong chips, storage system, at networking gear. Napatunayan itong kapaki-pakinabang sa pananalapi—sa unang quarter ng 2025, naitala ng AWS ang pinakamataas nitong operating margin mula nang itatag ang unit.
Habang ang ibang higanteng teknolohiya tulad ng Microsoft, Google, at Meta ay sumusunod din sa mga katulad na estratehiya sa custom hardware para sa AI workloads, nananatiling may kalamangan ang AWS dahil sa malawak nitong global data center footprint at karanasan sa malakihang deployment ng custom hardware. Lalo pang pinatatatag ng IRHX technology ang posisyon ng AWS bilang lider sa AI infrastructure, na ginagawang mas episyente, sustainable, at abot-kaya ang advanced AI computing.