OpenAI, een van ’s werelds grootste afnemers van NVIDIA’s grafische processors (GPU’s), is begonnen met het testen van Google’s Tensor Processing Units (TPU’s) voor het aandrijven van zijn AI-systemen, waaronder ChatGPT. Deze stap komt op een moment dat het bedrijf geconfronteerd wordt met stijgende rekenkosten en op zoek is naar kostenefficiëntere oplossingen voor zijn groeiende AI-activiteiten.
Volgens marktanalisten neemt inferentie—het proces waarbij AI-modellen getrainde kennis toepassen om voorspellingen of beslissingen te maken—nu meer dan 50% van OpenAI’s compute-budget in beslag. Vooral oudere generaties TPU’s bieden een aanzienlijk lagere kostprijs per inferentie dan NVIDIA GPU’s, waardoor ze een aantrekkelijk alternatief vormen, ondanks het feit dat ze mogelijk niet de piekprestaties van de nieuwste NVIDIA-chips halen.
"Hoewel oudere TPU’s niet de piekprestaties van de nieuwste Nvidia-chips halen, minimaliseert hun toegewijde architectuur energieverspilling en ongebruikte middelen, waardoor ze op schaal kostenefficiënter zijn," legt Charlie Dai uit, VP en hoofdanalist bij Forrester. Volgens brancheanalyses kan Google AI-rekenkracht verkrijgen tegen ongeveer 20% van de kosten die kopers van high-end NVIDIA GPU’s maken, wat neerkomt op een kostenvoordeel van 4 tot 6 keer.
OpenAI heeft echter verduidelijkt dat er geen directe plannen zijn voor een grootschalige uitrol van TPU’s. Een woordvoerder vertelde aan Reuters dat het bedrijf "in een vroege testfase zit met enkele van Google’s TPU’s" maar momenteel "geen plannen heeft om ze op grote schaal in te zetten." Deze voorzichtige benadering weerspiegelt de aanzienlijke technische uitdagingen die gepaard gaan met het migreren van infrastructuur, aangezien OpenAI’s softwarestack primair is geoptimaliseerd voor GPU’s.
Naast kostenoverwegingen betekent deze stap ook een strategische diversificatie van OpenAI’s compute-bronnen buiten Microsoft, dat tot januari 2025 als exclusieve datacenter-infrastructuurpartner fungeerde. Het bedrijf werkt inmiddels samen met Oracle en CoreWeave aan het Stargate-infrastructuurprogramma en ontwikkelt een eigen, op maat gemaakte AI-processor, die naar verwachting later dit jaar het tape-out-mijlpaal zal bereiken.
De gevolgen voor de AI-hardwaremarkt kunnen aanzienlijk zijn. Als OpenAI succesvol overstapt op TPU’s, kan dit Google’s hardware valideren als een levensvatbaar alternatief voor NVIDIA’s bijna-monopolie in high-performance AI-computing. Dit zou NVIDIA onder druk kunnen zetten om te innoveren of de prijzen aan te passen, terwijl het nieuwe concurrentiedynamiek creëert tussen cloudproviders als Google, Microsoft en Amazon, die allemaal strijden om dominantie in AI-infrastructuur.