OpenAI, salah satu pelanggan terbesar di dunia untuk graphics processing unit (GPU) NVIDIA, mulai menguji Tensor Processing Units (TPU) milik Google untuk mendukung sistem AI-nya, termasuk ChatGPT. Langkah ini diambil seiring meningkatnya biaya komputasi yang dihadapi perusahaan dan upaya mencari solusi yang lebih hemat biaya untuk operasional AI yang terus berkembang.
Menurut analis industri, inferensi—proses di mana model AI menggunakan pengetahuan yang telah dilatih untuk membuat prediksi atau keputusan—kini menghabiskan lebih dari 50% anggaran komputasi OpenAI. TPU, terutama generasi lama, menawarkan biaya per-inferensi yang jauh lebih rendah dibandingkan GPU NVIDIA, sehingga menjadi alternatif menarik meskipun mungkin tidak menyamai performa puncak chip NVIDIA terbaru.
"Meski TPU lama tidak memiliki performa puncak seperti chip Nvidia terbaru, arsitektur khusus mereka meminimalkan pemborosan energi dan sumber daya menganggur, sehingga lebih hemat biaya dalam skala besar," jelas Charlie Dai, VP dan analis utama di Forrester. Analisis industri menunjukkan Google dapat memperoleh daya komputasi AI dengan biaya sekitar 20% dari yang dikeluarkan pembeli GPU NVIDIA kelas atas, yang berarti keunggulan efisiensi biaya 4-6 kali lipat.
Namun, OpenAI menegaskan belum memiliki rencana penerapan TPU dalam skala besar dalam waktu dekat. Seorang juru bicara mengatakan kepada Reuters bahwa perusahaan "masih dalam tahap awal pengujian dengan beberapa TPU Google" dan saat ini "belum berencana menerapkannya secara luas." Pendekatan hati-hati ini mencerminkan tantangan teknis besar dalam transisi infrastruktur, karena tumpukan perangkat lunak OpenAI selama ini dioptimalkan terutama untuk GPU.
Selain pertimbangan biaya, langkah ini juga merupakan diversifikasi strategis sumber daya komputasi OpenAI di luar Microsoft, yang sebelumnya menjadi penyedia infrastruktur pusat data eksklusif hingga Januari 2025. Perusahaan juga telah bermitra dengan Oracle dan CoreWeave dalam program infrastruktur Stargate serta tengah mengembangkan prosesor AI kustom sendiri yang diperkirakan mencapai tahap tape-out akhir tahun ini.
Dampaknya terhadap pasar perangkat keras AI bisa sangat signifikan. Jika berhasil, adopsi TPU oleh OpenAI dapat memvalidasi perangkat keras Google sebagai alternatif yang layak terhadap dominasi NVIDIA dalam komputasi AI berkinerja tinggi. Hal ini dapat mendorong NVIDIA untuk berinovasi atau menyesuaikan harga, sekaligus menciptakan dinamika persaingan baru di antara penyedia cloud seperti Google, Microsoft, dan Amazon dalam perebutan dominasi infrastruktur AI.