Amazon Web Services (AWS) heeft een baanbrekende koeloplossing geïntroduceerd om een van de grootste infrastructuuruitdagingen van AI aan te pakken: het beheersen van de enorme hitte die wordt gegenereerd door de krachtige AI-processors van vandaag.
De In-Row Heat Exchanger (IRHX) is AWS' eigen benadering voor het koelen van Nvidia's nieuwste generatie grafische processors (GPU's), die essentieel zijn voor het trainen en uitvoeren van grote AI-modellen, maar ook enorme hoeveelheden energie verbruiken. Traditionele luchtkoelsystemen, die voldoende waren voor eerdere GPU-generaties, kunnen simpelweg niet voldoen aan de thermische eisen van Nvidia's Blackwell-chips.
"Ze zouden te veel ruimte op de datacentervloer innemen of het waterverbruik aanzienlijk verhogen," legt Dave Brown uit, Vice President Compute and Machine Learning Services bij AWS, over waarom bestaande koeloplossingen niet toereikend waren. De IRHX pakt deze beperkingen aan door gekoelde vloeistof dicht bij de serverrijen te laten circuleren via een systeem van pompunits, waterdistributiekasten en ventilatorbatterijen, waardoor warmte effectief wordt afgevoerd van dicht opeengepakte GPU's zonder dat een volledige herinrichting van het datacenter nodig is.
De koeltechnologie werkt samen met de nieuw gelanceerde P6e-instances van AWS, die gebruikmaken van Nvidia's GB200 NVL72-platform—een supercomputersysteem met 72 Blackwell-GPU's die in één rack met elkaar verbonden zijn. Deze configuratie levert 360 petaflops aan rekenkracht en meer dan 13TB aan geheugen, waardoor klanten veel grotere AI-modellen sneller en efficiënter kunnen trainen.
Naast prestatievoordelen maakt de IRHX gebruik van een "gesloten kringloop"-koelmechanisme dat koelvloeistof recirculeert zonder het waterverbruik te verhogen, wat het systeem milieuvriendelijk maakt. AWS schat dat de nieuwste koelsystemen het mechanisch energieverbruik tot 46% kunnen verminderen tijdens piekbelasting in vergelijking met eerdere ontwerpen.
De ontwikkeling van IRHX past binnen de bredere strategie van AWS om eigen infrastructuurcomponenten te ontwikkelen. De afgelopen jaren heeft het bedrijf fors geïnvesteerd in het creëren van eigen chips, opslagsystemen en netwerkapparatuur. Deze aanpak heeft zich financieel uitbetaald—AWS behaalde in het eerste kwartaal van 2025 de hoogste operationele marge sinds de oprichting van de divisie.
Hoewel andere techreuzen zoals Microsoft, Google en Meta vergelijkbare strategieën volgen met eigen hardware voor AI-werkbelastingen, behoudt AWS een concurrentievoordeel dankzij het wereldwijde netwerk van datacenters en de ervaring met grootschalige implementatie van maatwerkhardware. De IRHX-technologie versterkt AWS' positie als leider in AI-infrastructuur en maakt geavanceerde AI-computing efficiënter, duurzamer en toegankelijker.