AI는 이제 답하지 않는다, 일한다 - ‘디지털 노동력’이 여는 두 번째 인프라 사이클
AI 경쟁의 중심이 챗봇 성능에서 실제 업무를 끝내는 에이전트로 이동하고 있다. 투자자에게 중요한 변화는 모델 순위가 아니라, 한 번의 질문이 수십 번의 추론과 데이터 이동으로 바뀌면서 GPU 밖의 CPU, HBM, 네트워크, 전력까지 수요가 확장된다는 점이다.

20초 핵심
챗봇 다음의 경쟁자는 ‘디지털 노동력’이다
지금까지 생성형 AI의 대표 화면은 채팅창이었다. 사용자가 질문하면 모델이 답하고 세션이 끝났다. 에이전트형 AI는 구조가 다르다. 목표를 받으면 일을 쪼개고, 필요한 데이터를 찾고, 브라우저·이메일·캘린더·문서·코딩 도구를 오가며 작업을 이어간다.
최근 보도에 따르면 OpenAI는 SpaceX의 Grok Bot과 Meta의 Muse 같은 개인형·업무형 에이전트에 대응하는 기능을 개발하고 있다. Meta의 Muse는 이메일 발송, 여행 예약, 웹 양식 작성 같은 작업을 수행하고 사용자가 앱을 닫아도 작업을 계속하는 방향을 제시했다. 중요한 것은 특정 제품의 승패가 아니다. AI 제품의 평가 기준이 ‘얼마나 똑똑하게 말하는가’에서 ‘얼마나 안정적으로 일을 끝내는가’로 이동하고 있다는 점이다.
한 번의 질문이 ‘여러 번의 컴퓨팅’으로 바뀐다
에이전트의 경제성을 이해하려면 작업 한 건의 구조를 봐야 한다. 목표 이해 → 계획 → 데이터 검색 → 도구 호출 → 결과 검증 → 재추론 → 실행이 반복된다. 기존 챗봇의 한두 번 모델 호출이 수십 번의 추론과 데이터 이동으로 바뀔 수 있다.
Goldman Sachs Research는 에이전트 확산으로 2030년 토큰 소비가 크게 늘어날 가능성을 제시했다. 핵심은 단가와 총량을 분리해서 보는 것이다. 토큰당 비용이 하락하면 서비스 가격은 내려가지만, 그만큼 더 많은 자동화가 경제적으로 가능해진다. 가격 하락이 사용량 증가를 촉발하면 총 연산량은 줄지 않을 수 있다.
따라서 ‘추론 가격 하락 = 반도체 수요 둔화’라는 등식은 너무 단순하다. 투자자가 봐야 할 것은 토큰 단가가 아니라 고객 한 명, 에이전트 한 개, 업무 한 건이 소비하는 총 컴퓨팅량과 그 컴퓨팅이 실제 비용 절감으로 이어지는지다.
GPU만 보면 두 번째 사이클을 놓친다
에이전트 시대에도 GPU는 핵심이다. 다만 GPU 혼자 일을 끝내지는 않는다. CPU는 데이터 검색, API 호출, 샌드박스 실행, 메모리와 입출력 관리, 보안 정책, 가상머신과 기업 애플리케이션을 조율한다. AMD는 2026년 에이전트형 AI가 서버 CPU 수요를 구조적으로 높이고 있다고 설명했고, 2030년 서버 CPU 시장 기회를 기존 600억달러에서 2,200억달러 이상으로 상향했다. 이는 회사의 전망이지 확정된 시장 규모는 아니지만, CPU의 역할이 다시 커지고 있다는 방향성은 중요하다.
메모리도 같은 이유로 중요해진다. 긴 문서와 작업 이력, 대화 맥락을 유지하려면 HBM과 서버 DRAM의 용량·대역폭 부담이 커진다. 네트워크는 수많은 가속기와 서버를 하나의 거대한 컴퓨터처럼 묶어야 한다. 결국 에이전트는 GPU 수요를 대체하기보다, GPU 주변의 CPU·메모리·네트워크 수요를 함께 끌어올리는 쪽에 가깝다.
AI 가치사슬은 네 층으로 보면 선명해진다
모델은 생각하는 엔진이다. 에이전트는 그 엔진으로 계획하고 행동한다. 플랫폼은 데이터, 앱, 결제, ID, 권한을 연결해 실제 행동을 가능하게 한다. 물리 인프라는 이 모든 것을 계속 돌리는 데이터센터, 전력, 냉각, 광통신이다.
이 구조에서 소프트웨어와 하드웨어의 경계는 오히려 더 긴밀해진다. 가장 좋은 모델이 있어도 데이터 접근권한이 없으면 일을 못 한다. 에이전트가 있어도 전력망 접속이 늦어 데이터센터가 가동되지 않으면 사용량을 매출로 바꿀 수 없다. 경쟁력은 한 개의 모델 점수보다 전체 시스템의 비용, 신뢰성, 실행 속도에서 결정될 가능성이 높다.
| 층 | 핵심 역할 | 투자자가 볼 것 |
|---|---|---|
| 모델 | 추론·코드·멀티모달 | 가속기, HBM, 비용 효율 |
| 에이전트 | 계획·도구 사용·실행 | CPU, 메모리, 호출량 |
| 플랫폼 | 데이터·ID·권한·결제 | 보안, API, 워크플로 |
| 물리 인프라 | 데이터센터·전력·냉각 | 가동 GW, 네트워크, 냉각 |
31.6조달러가 말하는 것은 ‘GPU 구매액’이 아니다
PwC는 2026년부터 2050년까지 글로벌 데이터센터 누적 CapEx를 기준 시나리오에서 31.6조달러로 전망했다. 연간 투자액은 2026년 약 8,000억달러에서 2050년 1.8조달러로 늘어날 수 있다고 봤다. 이 수치는 전망이며 실제 투자액은 AI 도입 속도, 반도체 공급망, 전력, 규제에 따라 크게 달라질 수 있다.
더 중요한 대목은 투자 구성이다. PwC는 서버와 GPU 등 ICT 장비가 4~6년마다 교체돼야 하기 때문에 AI 인프라가 한 번 짓고 끝나는 건설 사이클이 아니라 반복 투자 사이클이 될 가능성을 강조했다. 전력은 어느 지역이 이 투자를 실제로 유치할지를 가르는 핵심 제약으로 지목됐다.
즉 두 번째 AI 인프라 사이클의 병목은 ‘칩을 살 돈이 있는가’에서 ‘칩을 꽂아 실제로 돌릴 전력·냉각·네트워크가 있는가’로 넓어지고 있다.
투자자는 어디서 숫자를 확인해야 하나
첫째, 하이퍼스케일러 CapEx가 얼마나 늘어나는지만 보지 말고 AI 매출과 현금흐름이 같은 속도로 따라오는지 봐야 한다. 투자가 매출보다 오래 앞서면 밸류에이션 부담이 커진다.
둘째, HBM 계약가격과 서버 DRAM 가격, 첨단 패키징 리드타임을 함께 봐야 한다. GPU 출하가 늘어도 메모리와 패키징이 막히면 시스템 출하가 제한된다.
셋째, 네트워크와 광학의 세대 전환을 확인해야 한다. 800G에서 1.6T로의 전환, 고속 이더넷과 광모듈 침투율은 클러스터 규모가 얼마나 빠르게 커지는지 보여주는 선행지표가 될 수 있다.
넷째, 데이터센터의 전력 확보량과 랙당 전력밀도, 냉각 투자다. 발표된 데이터센터 계획보다 실제 전력망 연결과 가동 시점이 훨씬 중요하다.
다섯째, 에이전트의 유료 사용자 수보다 업무 완료율, 재사용률, 사람의 개입 비율, 고객의 시간·비용 절감 효과를 봐야 한다. 이것이 검증돼야 인프라 투자도 지속 가능한 수요가 된다.
AI 산업의 다음 단계는 ‘더 똑똑한 챗봇’보다 ‘계속 일하는 소프트웨어’에 가깝다. 이 변화가 현실화되면 AI 컴퓨팅은 일회성 학습 프로젝트에서 상시 운영비 성격으로 이동한다. 그때 반도체 투자 논리도 GPU 한 종목의 점유율 경쟁보다 시스템 전체의 병목을 보는 방식으로 바뀌어야 한다.
다만 에이전트가 곧바로 거대한 생산성 혁명을 보장하는 것은 아니다. 정확도, 보안, 권한 관리, 감사 로그, 책임 소재가 해결되지 않으면 기업은 중요한 업무를 맡기지 않는다. 결국 두 번째 AI 사이클의 속도는 모델 성능이 아니라 ‘자동화 한 건이 고객에게 실제 돈을 얼마나 아껴주는가’가 결정할 가능성이 높다.
그래서 투자자에게 가장 중요한 질문은 이것이다. 에이전트가 사람의 시간을 실제로 줄이고 있는가, 그리고 그 자동화가 늘어날수록 어떤 컴퓨팅·메모리·전력 병목이 반복해서 발생하는가. 이 두 질문에 답할 수 있는 기업이 다음 사이클의 이익을 가져갈 가능성이 높다.
- 반드시 그렇지는 않다. 단가 하락이 더 많은 사용 사례를 경제적으로 만들면 총 호출량이 더 빠르게 늘 수 있다. 투자자는 단가보다 총 토큰량과 고객당 컴퓨팅 소비를 함께 봐야 한다.
- 현재 확인되는 방향은 대체보다 보완에 가깝다. GPU가 추론을 담당하고 CPU가 데이터 검색, 도구 실행, 오케스트레이션을 맡는 구조가 커질 수 있다.
- 기업 ROI가 기대만큼 빠르게 나오지 않는 경우다. CapEx가 먼저 늘고 생산성 절감 효과가 늦게 확인되면 빅테크의 투자 속도와 관련 밸류에이션 모두 조정될 수 있다.
- 둘 다 가능하다. 전력 제약은 데이터센터 가동을 늦춰 칩 매출 인식을 지연시킬 수 있지만, 동시에 변압기·배전·냉각·발전설비 투자를 더 크게 만들 수 있다.
체크 포인트
인사이트 타임스 편집부





