作为全球最大的NVIDIA图形处理单元（GPU）客户之一，OpenAI已开始测试谷歌的张量处理单元（TPU），用于为其AI系统（包括ChatGPT）提供算力支持。此举正值OpenAI面临日益高昂的计算开支，并寻求更具成本效益的AI运营解决方案。
据业内分析师称，推理——即AI模型利用已训练知识进行预测或决策的过程——目前已占OpenAI算力预算的50%以上。与NVIDIA GPU相比，尤其是老一代TPU，在单次推理成本方面具有显著优势，尽管其峰值性能可能不及最新的NVIDIA芯片。
Forrester副总裁兼首席分析师Charlie Dai表示：“虽然老一代TPU的峰值性能不及最新的NVIDIA芯片，但其专用架构能最大限度减少能耗浪费和资源闲置，使其在大规模应用下更具成本效益。”业内分析指出，谷歌获得AI算力的成本大约仅为购买高端NVIDIA GPU的20%，意味着其成本效率高出4-6倍。
不过，OpenAI已明确表示，近期并无大规模部署TPU的计划。一位发言人对路透社表示，公司目前正“对部分谷歌TPU进行早期测试”，但“暂无大规模部署计划”。这一谨慎态度反映了基础设施迁移所面临的重大技术挑战，因为OpenAI的软件栈主要为GPU进行了优化。
除了成本考量外，此举还代表着OpenAI在算力来源上的战略多元化。此前，微软一直是其唯一的数据中心基础设施提供商（合作关系将持续至2025年1月）。目前，OpenAI已在Stargate基础设施项目中与Oracle和CoreWeave建立合作，并正开发自研AI处理器，预计今年晚些时候将实现流片。
这一动向或将对AI硬件市场产生深远影响。如果OpenAI成功采用TPU，将有望证明谷歌硬件是NVIDIA在高性能AI计算领域的可行替代方案。这不仅可能促使NVIDIA加快创新或调整定价，也将加剧谷歌、微软、亚马逊等云服务商在AI基础设施领域的竞争。