세계 최대 엔비디아 GPU 고객사 중 하나인 OpenAI가 자사 AI 시스템(챗GPT 등)에 구글의 텐서 프로세싱 유닛(TPU) 도입을 위한 테스트를 시작했다. 이는 AI 운영에 따른 컴퓨팅 비용이 급증함에 따라 보다 비용 효율적인 대안을 모색하는 움직임이다.
업계 분석에 따르면, AI 모델이 학습된 지식을 바탕으로 예측이나 결정을 내리는 '추론' 과정이 이제 OpenAI 전체 컴퓨팅 예산의 50% 이상을 차지한다. 특히 구형 TPU는 엔비디아 GPU 대비 추론당 비용이 크게 낮아, 최신 엔비디아 칩 대비 성능은 다소 떨어지더라도 매력적인 대안으로 평가받는다.
포레스터의 부사장이자 수석 애널리스트인 찰리 다이는 "구형 TPU는 최신 엔비디아 칩만큼의 최고 성능은 없지만, 전용 아키텍처 덕분에 에너지 낭비와 유휴 자원이 최소화되어 대규모 환경에서 더 비용 효율적"이라고 설명했다. 업계 분석에 따르면, 구글은 고성능 엔비디아 GPU를 구매하는 비용의 약 20% 수준으로 AI 컴퓨팅 파워를 확보할 수 있어, 4~6배의 비용 효율성을 가진다는 평가다.
다만 OpenAI는 TPU의 대규모 도입 계획은 없다고 선을 그었다. OpenAI 대변인은 로이터 통신에 "구글 TPU를 일부로 한 초기 테스트 단계"라며 "대규모 도입 계획은 현재 없다"고 밝혔다. 이는 OpenAI의 소프트웨어 스택이 주로 GPU에 최적화되어 있어 인프라 전환에 상당한 기술적 도전이 따르기 때문이다.
비용 외에도, 이번 행보는 마이크로소프트에 전적으로 의존하던 컴퓨트 소스를 다각화하려는 전략적 변화다. OpenAI는 이미 오라클, 코어위브와 'Stargate' 인프라 프로그램을 진행 중이며, 올해 말 테이프아웃을 목표로 자체 AI 프로세서 개발도 추진 중이다.
AI 하드웨어 시장에 미칠 파장도 주목된다. OpenAI가 TPU 도입에 성공할 경우, 구글 하드웨어가 고성능 AI 컴퓨팅에서 엔비디아의 독점적 지위에 도전할 수 있는 대안으로 자리매김할 수 있다. 이는 엔비디아에 혁신이나 가격 조정 압박을 가하는 한편, 구글·마이크로소프트·아마존 등 주요 클라우드 사업자 간 AI 인프라 주도권 경쟁을 더욱 치열하게 만들 전망이다.