AI는 멈추지 않는다 - 감속론 이후, 진짜 규제는 ‘모델’보다 ‘행동권한’으로 간다

아모데이가 실제로 제안한 것은 ‘느리게 출시하자’보다 더 강하다

먼저 사실부터 분리해야 한다. 아모데이는 2026년 9월 공개한 ‘We Must Pace the Frontier’에서 단순히 출시 전 테스트 기간을 늘리자는 수준을 넘어 “AI 모델의 능력을 개선하는 속도를 늦춰야 한다”고 직접 주장했다. 그 이유로 AI가 다음 세대 AI 개발을 돕는 재귀적 자기개선과 최근의 에이전트 오정렬 사례를 들었다.

그가 제시한 구조는 세 단계다. 첫째, Anthropic은 외부 평가자에게 내부 위험팀에 가까운 지속적 접근권한을 제공한다. 둘째, 민주주의 국가의 프런티어 AI 기업들이 공통 안전기준과 속도 조절에 협력한다. 셋째, 장기적으로는 중국을 포함한 국제 조율을 시도한다.

중요한 것은 1단계와 2·3단계의 현실성이 다르다는 점이다. 외부 평가자 제도는 Anthropic이 단독으로 시작할 수 있다. 그러나 공동 감속은 경쟁사가 실제로 같은 속도로 움직이는지 검증해야 하고, 국제 감속은 미·중 전략경쟁까지 해결해야 한다. 공개적인 공감이 곧 실행 가능한 카르텔을 뜻하지는 않는다.

그래서 더 현실적인 질문은 ‘얼마나 똑똑한가’보다 ‘무엇을 할 수 있게 허용했는가’다

여기서부터는 사실이 아니라 전망이다. 미국이 AI 전체를 일정하게 늦추기보다, 모델의 행동권한에 따라 규제를 차등화할 가능성이 더 높다고 본다.

같은 모델도 보고서를 요약할 때와 회사의 결제 시스템·소스코드 저장소·고객 데이터베이스·클라우드 계정에 직접 접속할 때 위험은 전혀 다르다. 위험은 모델 능력 하나로 결정되지 않는다. 추론·코딩 능력, 외부 시스템 접근권한, 사람 승인 없이 실행할 수 있는 범위, 장시간 자율 실행, 대규모 병렬 복제 능력이 겹칠수록 사고의 파급력이 커진다.

미국 정책기관의 움직임도 이 방향과 맞닿아 있다. NIST 산하 CAISI는 2026년 AI 에이전트 보안을 별도 의제로 다루면서, 에이전트가 외부 도구와 데이터에 접근할 때 발생하는 보안 위협과 접근권한 제한·모니터링을 핵심 과제로 제시했다. NIST는 에이전트의 식별, 권한부여, 감사 가능성을 위한 별도 표준 작업도 진행 중이다.

즉 ‘파라미터가 몇 개인 모델인가’보다 ‘어떤 신원으로 어느 시스템에 들어가 어떤 행동을 할 수 있는가’가 기업 도입 단계의 더 실용적인 통제 단위가 되고 있다.

자발적 감속이 어려운 이유 - AI는 연구 경쟁이 아니라 플랫폼 경쟁이다

프런티어 AI 기업이 동시에 속도를 낮추기 어려운 이유는 단순하다. 선도 모델이 가져가는 것은 벤치마크 1등만이 아니다. 개발자 생태계, API 사용량, 기업 고객의 장기계약, 정부 계약, 핵심 인재, 운영 데이터, 클라우드 자원까지 함께 따라온다.

특히 기업용 AI는 전환비용이 크다. 회사가 에이전트를 업무에 연결하려면 데이터 권한, 보안 인증, 감사로그, 직원 교육, 승인 절차까지 다시 설계해야 한다. 먼저 기업 표준이 된 사업자는 이후 경쟁 모델이 조금 더 좋아져도 고객을 쉽게 잃지 않는다.

여기에 이미 투입된 자본이 가속 압력을 더한다. GPU, HBM, 첨단 패키징, 데이터센터, 전력, 냉각, 네트워크는 ‘연구가 필요할 때만 쓰는 장비’가 아니라 가동률과 매출을 만들어야 하는 생산설비다. 대규모 CAPEX가 깔린 상황에서 산업 전체가 자발적으로 계산 능력을 비워두는 균형은 만들기 어렵다.

트럼프의 중국 논리가 강한 이유, 그리고 그것만으로 부족한 이유

트럼프 대통령은 9월 13일 AI 위험론을 과장된 우려로 보고, 미국이 중국보다 AI에서 앞서야 한다는 입장을 강조했다. 이 논리에는 현실적인 부분이 있다. 미국 기업만 강하게 묶고 중국이 같은 속도로 따라오지 않는다면 국가안보상 불리해질 수 있다.

아모데이 역시 이 딜레마를 인정한다. 민주주의 국가가 속도를 조절하려면 중국에 대한 기술적 우위를 유지해야 하며, 첨단 AI 칩·반도체 장비 통제, 칩 밀수와 해외 데이터센터 원격접속 차단, 무단 증류와 모델 가중치 탈취 방지를 함께 강화해야 한다고 주장했다.

하지만 여기서 ‘그러니 안전규제가 필요 없다’는 결론까지 가면 논리가 끊긴다. 미국이 강력한 AI를 먼저 만들더라도, 그 AI가 기업 시스템과 핵심 인프라에 연결되는 과정에서 대형 보안사고를 일으킨다면 기술적 우위는 산업 경쟁력으로 전환되지 않는다.

AI 패권의 최종 기준은 벤치마크 1위가 아니라, 강력한 모델을 실제 경제의 생산성으로 안전하게 바꾸는 능력에 더 가깝다.

투자자의 시선 - 안전은 AI 지출의 종말이 아니라 지출의 ‘외연 확대’일 수 있다

이 구도라면 AI 규제를 곧바로 GPU와 데이터센터 수요의 종료로 읽는 것은 성급하다. 모델 개발 속도가 실제로 크게 둔화하면 훈련 수요에는 분명 하방 압력이 생길 수 있다. 그러나 현재 미국의 제도적 움직임은 동시에 에이전트 보안, 신원·권한관리, 감사로그, 모델 평가, 레드팀, 클라우드 고객 확인 같은 새로운 운영비용을 만들어내고 있다.

따라서 투자자가 볼 질문도 바뀐다. ‘AI 기업이 더 큰 모델을 얼마나 빨리 훈련하느냐’만이 아니라 ‘AI를 기업의 실제 업무에 연결하기 위해 보안·감사·인프라에 얼마를 더 써야 하느냐’가 중요하다.

이 관점에서 수혜 가능성이 있는 영역은 AI 가속기와 HBM, 고속 네트워크, 데이터센터 전력·냉각뿐 아니라 IAM(신원·접근관리), 에이전트 보안, 모델 관측성, 감사·컴플라이언스, 정부·방산용 AI 인프라까지 넓어진다. 다만 이것이 개별 기업의 주가 상승을 보장한다는 뜻은 아니다. 실제 매출화 속도와 밸류에이션을 별도로 확인해야 한다.