Ang OpenAI, isa sa pinakamalalaking kustomer ng NVIDIA pagdating sa graphics processing units (GPUs), ay sinimulan na ang pagsubok sa Tensor Processing Units (TPUs) ng Google upang paganahin ang kanilang mga AI system, kabilang na ang ChatGPT. Ang hakbang na ito ay kasunod ng pagharap ng kumpanya sa lumalaking gastusin sa computation at paghahanap ng mas abot-kayang solusyon para sa lumalawak nilang AI operations.
Ayon sa mga industry analyst, ang inference—ang proseso kung saan ginagamit ng mga AI model ang natutunang kaalaman upang gumawa ng prediksyon o desisyon—ay kumakain na ngayon ng mahigit 50% ng compute budget ng OpenAI. Ang mga TPU, lalo na ang mga mas lumang henerasyon, ay nag-aalok ng mas mababang cost-per-inference kumpara sa NVIDIA GPUs, kaya't ito ay kaakit-akit na alternatibo kahit na maaaring hindi nito maabot ang pinakamataas na performance ng mga pinakabagong NVIDIA chips.
"Bagama't kulang sa peak performance ang mga mas lumang TPU kumpara sa mga bagong Nvidia chips, ang dedikadong arkitektura nito ay nagpapaliit ng energy waste at idle resources, kaya mas cost-effective ito kapag malakihan," paliwanag ni Charlie Dai, VP at principal analyst sa Forrester. Ayon sa pagsusuri ng industriya, maaaring makuha ng Google ang AI compute power sa humigit-kumulang 20% ng gastos ng mga bumibili ng high-end NVIDIA GPUs, na nagpapahiwatig ng 4-6x na kalamangan sa cost efficiency.
Gayunpaman, nilinaw ng OpenAI na wala pa silang agarang plano para sa malawakang deployment ng TPU. Ayon sa tagapagsalita ng kumpanya sa Reuters, sila ay "nasa maagang yugto ng pagsubok gamit ang ilang TPU ng Google" ngunit "wala pang plano na gamitin ito sa malakihang operasyon." Ang maingat na hakbang na ito ay sumasalamin sa mahahalagang teknikal na hamon ng paglipat ng imprastraktura, dahil ang software stack ng OpenAI ay pangunahing na-optimize para sa GPUs.
Higit pa sa usapin ng gastos, ang hakbang na ito ay nagpapakita ng estratehikong pag-diversify ng OpenAI sa kanilang compute sources, lampas sa Microsoft na nagsilbing eksklusibong provider ng data center infrastructure hanggang Enero 2025. Nakipag-partner na rin ang kumpanya sa Oracle at CoreWeave para sa kanilang Stargate infrastructure program at kasalukuyang gumagawa ng sarili nilang custom AI processor na inaasahang aabot sa tape-out milestone ngayong taon.
Mahalaga ang maaaring maging epekto nito sa AI hardware market. Kapag naging matagumpay, maaaring mapatunayang viable alternative ang hardware ng Google laban sa halos monopolyo ng NVIDIA sa high-performance AI computing. Maaari nitong pilitin ang NVIDIA na mag-innovate o baguhin ang presyo, habang lumilikha ng bagong kompetisyon sa pagitan ng mga cloud provider tulad ng Google, Microsoft, at Amazon sa kanilang tunggalian para sa dominasyon ng AI infrastructure.