Amazon Web Services (AWS) telah memperkenalkan solusi pendingin revolusioner untuk mengatasi salah satu tantangan infrastruktur terbesar dalam AI: mengelola panas luar biasa yang dihasilkan oleh prosesor AI masa kini yang sangat bertenaga.
In-Row Heat Exchanger (IRHX) merupakan pendekatan khusus AWS untuk mendinginkan unit pemrosesan grafis (GPU) generasi terbaru dari Nvidia, yang sangat penting untuk melatih dan menjalankan model AI besar namun mengonsumsi energi dalam jumlah besar. Sistem pendingin udara tradisional, yang cukup untuk generasi GPU sebelumnya, tidak mampu menangani kebutuhan termal chip berbasis Blackwell dari Nvidia.
"Mereka akan memakan terlalu banyak ruang lantai pusat data atau secara signifikan meningkatkan penggunaan air," jelas Dave Brown, Wakil Presiden Compute and Machine Learning Services di AWS, mengenai alasan mengapa solusi pendingin yang ada tidak memadai. IRHX mengatasi keterbatasan ini dengan mengalirkan cairan dingin di dekat barisan server melalui sistem unit pompa, kabinet distribusi air, dan koil kipas, sehingga panas dari GPU yang padat dapat dihilangkan secara efektif tanpa perlu mendesain ulang pusat data secara menyeluruh.
Teknologi pendingin ini bekerja beriringan dengan instance P6e terbaru dari AWS, yang memanfaatkan platform Nvidia GB200 NVL72—sebuah sistem superkomputer yang berisi 72 GPU Blackwell saling terhubung dalam satu rak. Konfigurasi ini menghadirkan kekuatan komputasi sebesar 360 petaflops dan memori lebih dari 13TB, memungkinkan pelanggan melatih model AI yang jauh lebih besar dengan lebih cepat dan efisien.
Selain manfaat performa, IRHX menggunakan mekanisme pendingin "loop tertutup" yang mensirkulasikan kembali cairan pendingin tanpa meningkatkan konsumsi air, sehingga ramah lingkungan. AWS memperkirakan sistem pendingin terbarunya dapat mengurangi konsumsi energi mekanis hingga 46% pada kondisi pendinginan puncak dibandingkan desain sebelumnya.
Pengembangan IRHX sejalan dengan strategi AWS yang lebih luas dalam membangun komponen infrastruktur khusus. Dalam beberapa tahun terakhir, perusahaan telah berinvestasi besar-besaran untuk menciptakan chip, sistem penyimpanan, dan perangkat jaringan miliknya sendiri. Pendekatan ini terbukti menguntungkan secara finansial—pada kuartal pertama tahun 2025, AWS meraih margin operasional tertinggi sejak unit tersebut didirikan.
Sementara raksasa teknologi lain seperti Microsoft, Google, dan Meta juga mengejar strategi perangkat keras khusus untuk beban kerja AI, AWS tetap memiliki keunggulan kompetitif melalui jaringan pusat data global yang luas dan pengalaman dalam menerapkan perangkat keras khusus dalam skala besar. Teknologi IRHX semakin memperkuat posisi AWS sebagai pemimpin infrastruktur AI, membuat komputasi AI tingkat lanjut menjadi lebih efisien, berkelanjutan, dan mudah diakses.