AI 칩도 이제 맞춤형 시대, 구글 TPU 2종이 바꾸는 엔비디아의 경쟁 구도
보안과 대규모 추론으로 갈라지는 AI 반도체 시장. 구글은 왜 엔비디아와 다른 길을 택했을까?
20초 핵심
1. 구글은 왜 같은 세대의 칩을 또 만들었을까?
AI 칩이 더 빨라졌다는 뉴스는 이제 흔하다. 그런데 구글이 11월 9일 공개한 TPU 8tx와 TPU 8i Max는 속도 경쟁만으로 설명하기 어렵다.
둘 다 완전히 새로운 세대가 아니라 기존 8세대 TPU를 서로 다른 고객에게 맞춘 구성이다. 하나는 정보를 안전하게 처리하는 데, 다른 하나는 방대한 정보를 한꺼번에 계산하는 데 초점을 맞췄다.
구글이 던진 질문은 분명하다. “가장 빠른 칩이 무엇인가”가 아니라 “이 고객의 일을 가장 잘 처리할 시스템은 무엇인가.”
2. 금융사와 AI 코딩 서비스에 같은 칩이 필요할까?
민감한 정보를 안전하게
금융, 정부, 규제 산업의 보안 추론
복잡한 계산을 크게
긴 문맥, AI 코딩, 고밀도 추론
금융기관이 AI로 민감한 고객 정보를 분석한다고 생각해 보자. 저장하거나 전송할 때뿐 아니라 계산하는 동안에도 정보를 지키는 능력이 중요하다.
TPU 8tx는 바로 이 문제를 겨냥한다. 구글의 TPU에 AMD CPU 호스트와 하드웨어 수준의 보호 기능을 결합했다. 구글에 따르면 기존 TPU 8t와 비교해 추론 지연시간을 최대 절반으로 줄일 수 있다.
반면 AI 코딩 서비스는 방대한 코드 전체를 읽고 여러 단계의 추론을 반복해야 한다. TPU 8i Max는 TPU 8i 두 개를 한 패키지에 담아 연산 성능과 SRAM, HBM 메모리 대역폭을 각각 두 배로 늘렸다. 신약 연구처럼 복잡한 계산에도 어울리는 방향이다.
핵심은 같다. 보안이 중요한 고객과 계산량이 중요한 고객은 다른 해답을 원한다.
3. 구글의 진짜 무기는 칩 하나가 아니다
구글은 검색, 유튜브, Gemini에서 자체 TPU를 사용해 왔다. 이제 이 설계 역량을 외부 클라우드 고객에게도 제공하고 있다.
구글이 가진 차별점은 칩, 클라우드, AI 모델, 대규모 자체 수요를 한 회사 안에서 연결할 수 있다는 점이다. 칩 설계에서 끝나지 않고 어떤 서비스가 얼마나 많은 연산을 요구하는지 직접 확인하고 개선할 수 있다.
9월 마감 분기 Google Cloud 매출은 307억1,000만 달러로 전년 동기 대비 두 배 이상 늘었다. 이는 클라우드 사업 전체의 매출이지 TPU만의 매출은 아니다. 하지만 자체 칩의 경제성을 실제 고객 수요와 연결할 수 있는 사업 기반이 커지고 있음을 보여준다.
투자자에게 중요한 것은 구글이 칩을 몇 개 만드는지가 아니다. 자체 칩이 고객 확보와 서비스 제공 원가 개선으로 얼마나 이어지는가다.
4. 그러면 엔비디아의 시대는 끝나는가?
그렇게 단순하지 않다. 엔비디아의 GPU는 다양한 AI 모델과 작업을 처리하는 범용성과 CUDA 소프트웨어 생태계가 강점이다. 반면 구글 TPU 같은 맞춤형 칩(ASIC)은 정해진 작업에서 비용과 전력 효율을 최적화하는 데 초점을 맞춘다.
여러 모델을 빠르게 시험하고 복잡한 개발 환경을 유지해야 하는 곳에서는 GPU의 유연성이 유리할 수 있다. 대규모로 반복되는 특정 추론 작업에서는 맞춤형 칩의 경제성이 더 매력적일 수 있다.
따라서 TPU의 확대는 엔비디아가 모든 시장을 잃는다는 뜻이 아니다. 다만 일부 업무에서 고객이 GPU 이외의 선택지를 갖게 되면서 엔비디아의 가격 협상력에는 부담이 될 수 있다.
AI 시장이 커질수록 칩의 종류도 늘어난다. 경쟁자가 증가하는 동시에 전체 수요도 확대되는 구조다.
**INSIGHT TIMES VIEW** : 앞으로의 AI 반도체 시장은 단일 승자보다 업무별 강자가 공존하는 방향으로 넓어질 가능성이 크다. 중요한 것은 누가 가장 빠른 칩을 발표했는지가 아니라, 누가 고객의 비용을 지속적으로 낮추고 그 절감분을 이익으로 연결하는가다.
- 아니다. 모델 종류, 소프트웨어 전환 비용, 사용률에 따라 총비용은 달라진다.
- 반드시 그렇지는 않다. 일부 추론 작업에서는 경쟁이 강화되지만, AI 사용량 자체가 커지면 GPU 수요도 함께 증가할 수 있다.
- 아니다. 이번 발표에서 AMD의 역할은 TPU 시스템과 결합하는 CPU 호스트다.
체크 포인트
인사이트 타임스 편집부
