OpenAI, jeden z najväčších svetových zákazníkov grafických procesorov (GPU) od NVIDIA, začala testovať Tensor Processing Units (TPU) od Googlu na pohon svojich AI systémov vrátane ChatGPT. Tento krok prichádza v čase, keď spoločnosť čelí rastúcim výpočtovým nákladom a hľadá nákladovo efektívnejšie riešenia pre svoje rozširujúce sa AI operácie.
Podľa analytikov z odvetvia inferencia – proces, pri ktorom AI modely využívajú naučené poznatky na predikcie alebo rozhodnutia – teraz spotrebúva viac ako 50 % výpočtového rozpočtu OpenAI. TPU, najmä staršie generácie, ponúkajú výrazne nižšie náklady na jednu inferenciu v porovnaní s GPU od NVIDIA, čo z nich robí atraktívnu alternatívu aj napriek tomu, že nemusia dosahovať špičkový výkon najnovších čipov NVIDIA.
"Hoci staršie TPU nedosahujú špičkový výkon novších čipov Nvidia, ich špecializovaná architektúra minimalizuje energetické straty a nevyužité zdroje, vďaka čomu sú vo veľkom meradle nákladovo efektívnejšie," vysvetlil Charlie Dai, viceprezident a hlavný analytik spoločnosti Forrester. Analýzy z odvetvia naznačujú, že Google môže získavať AI výpočtový výkon približne za 20 % nákladov, ktoré platia tí, čo kupujú špičkové GPU od NVIDIA, čo znamená 4- až 6-násobnú úsporu.
OpenAI však zdôraznila, že zatiaľ nemá v pláne rozsiahle nasadenie TPU. Hovorca spoločnosti pre agentúru Reuters uviedol, že "sme v počiatočnej fáze testovania niektorých TPU od Googlu", no aktuálne "nemáme plány na ich nasadenie vo veľkom rozsahu". Tento opatrný prístup odráža významné technické výzvy spojené s prechodom infraštruktúry, keďže softvérový stack OpenAI je primárne optimalizovaný pre GPU.
Okrem nákladových aspektov tento krok predstavuje aj strategickú diverzifikáciu výpočtových zdrojov OpenAI mimo Microsoft, ktorý bol až do januára 2025 jej výhradným poskytovateľom dátovej infraštruktúry. Spoločnosť už spolupracuje s Oracle a CoreWeave na svojom programe infraštruktúry Stargate a vyvíja vlastný AI procesor, ktorý by mal dosiahnuť míľnik tape-out ešte tento rok.
Dôsledky pre trh s AI hardvérom môžu byť zásadné. Ak bude OpenAI úspešná s nasadením TPU, môže to potvrdiť hardvér Googlu ako životaschopnú alternatívu k takmer monopolnému postaveniu NVIDIA v oblasti výkonných AI výpočtov. To by mohlo vyvinúť tlak na NVIDIA, aby inovovala alebo upravila ceny, a zároveň vytvoriť nové konkurenčné prostredie medzi poskytovateľmi cloudu ako Google, Microsoft a Amazon, ktorí bojujú o dominanciu v AI infraštruktúre.