OpenAI, en af verdens største kunder hos NVIDIA for grafiske processorenheder (GPU'er), er begyndt at teste Googles Tensor Processing Units (TPU'er) til at drive sine AI-systemer, herunder ChatGPT. Dette sker, mens virksomheden står over for stigende beregningsudgifter og søger mere omkostningseffektive løsninger til sine voksende AI-operationer.
Ifølge brancheanalytikere udgør inferens—processen hvor AI-modeller bruger trænet viden til at lave forudsigelser eller træffe beslutninger—nu over 50 % af OpenAIs compute-budget. TPU'er, især ældre generationer, tilbyder markant lavere omkostninger pr. inferens sammenlignet med NVIDIA GPU'er, hvilket gør dem til et attraktivt alternativ, selvom de muligvis ikke matcher den maksimale ydeevne fra de nyeste NVIDIA-chips.
"Selvom ældre TPU'er ikke matcher den maksimale ydeevne fra de nyeste Nvidia-chips, minimerer deres dedikerede arkitektur energispild og inaktive ressourcer, hvilket gør dem mere omkostningseffektive i stor skala," forklarer Charlie Dai, VP og chefanalytiker hos Forrester. Brancheanalyser antyder, at Google kan opnå AI-beregningseffekt til omkring 20 % af omkostningerne for dem, der køber avancerede NVIDIA GPU'er, hvilket indikerer en 4-6 gange højere omkostningseffektivitet.
OpenAI har dog præciseret, at der ikke er umiddelbare planer om storstilet implementering af TPU'er. En talsmand oplyste til Reuters, at virksomheden er i "tidlig test med nogle af Googles TPU'er", men aktuelt "ikke har planer om at implementere dem i stor skala". Denne forsigtige tilgang afspejler de betydelige tekniske udfordringer, der er forbundet med at omstille infrastrukturen, da OpenAIs softwarestack primært er optimeret til GPU'er.
Ud over omkostningshensyn repræsenterer dette skridt en strategisk diversificering af OpenAIs compute-kilder ud over Microsoft, som indtil januar 2025 har været virksomhedens eksklusive datacenterinfrastrukturleverandør. Virksomheden har allerede indgået partnerskaber med Oracle og CoreWeave på sit Stargate-infrastrukturprogram og er i gang med at udvikle sin egen specialdesignede AI-processor, der forventes at nå tape-out-milestone senere i år.
Konsekvenserne for AI-hardwaremarkedet kan blive betydelige. Hvis det lykkes, kan OpenAIs anvendelse af TPU'er validere Googles hardware som et levedygtigt alternativ til NVIDIAs næsten-monopol på højtydende AI-beregning. Dette kan lægge pres på NVIDIA for at innovere eller justere priserne og samtidig skabe nye konkurrenceforhold mellem cloud-udbydere som Google, Microsoft og Amazon, der kæmper om dominans på AI-infrastrukturmarkedet.