世界最大級のNVIDIA製GPUユーザーであるOpenAIは、ChatGPTを含むAIシステムの運用にGoogleのTensor Processing Unit（TPU）のテストを開始した。これは、同社が増大する計算コストに直面し、よりコスト効率の高いAI運用手段を模索する中での動きとなる。
業界アナリストによれば、AIモデルが学習済み知識を用いて予測や判断を行う「推論」処理は、現在OpenAIの計算予算の50%以上を消費している。特に旧世代のTPUは、NVIDIA製GPUと比較して推論当たりのコストが大幅に低く、最新のNVIDIAチップほどのピーク性能は持たないものの、魅力的な代替案となっている。
「旧世代TPUは最新のNVIDIAチップほどのピーク性能はありませんが、専用設計によりエネルギーの無駄やアイドルリソースを最小限に抑え、大規模運用時のコスト効率が高い」と、Forresterの副社長兼主席アナリスト、チャーリー・ダイ氏は説明する。業界分析によれば、GoogleはハイエンドNVIDIA GPUを購入する場合と比べて約20%のコストでAI計算能力を確保できるとされ、4〜6倍のコスト効率を実現する可能性がある。
ただし、OpenAIは現時点でTPUの大規模導入計画はないと明言している。広報担当者はロイターに対し、「GoogleのTPUで初期テストを行っているが、現時点で大規模展開の予定はない」と述べた。これは、OpenAIのソフトウェアスタックが主にGPU向けに最適化されていることから、インフラ移行には大きな技術的課題が伴うため、慎重な姿勢を示している。
コスト面以外にも、この動きは2025年1月まで独占的にデータセンターインフラを提供してきたMicrosoft以外への計算基盤の多様化を意味する。OpenAIはすでにOracleやCoreWeaveと「Stargate」インフラプログラムで提携し、年内にもテープアウトを迎える自社製AIプロセッサの開発も進めている。
AIハードウェア市場への影響も大きい。OpenAIによるTPU採用が成功すれば、Google製ハードウェアがNVIDIAの事実上の独占状態に対抗し得る選択肢として認められることになる。これによりNVIDIAはイノベーションや価格調整を迫られる可能性があり、Google、Microsoft、Amazonなどクラウド大手各社によるAIインフラ覇権争いの競争環境にも新たな変化が生まれるだろう。