AGI를 만들었다고 선언한 순간, 진짜 전쟁은 ‘누가 믿을 만한가’로 넘어갔다
OpenAI는 Astra를 내놓으며 ‘AGI 시대’를 전면에 내세웠다. 그런데 AI가 강해질수록 더 중요한 질문은 “얼마나 똑똑한가”가 아니라 “누가 검증했고, 누가 책임지는가”가 되고 있다.
20초 핵심
OpenAI가 AGI를 외친 날, AGI의 의미는 오히려 더 흐려졌다
샘 알트먼은 올해 8월 TIME 인터뷰에서 OpenAI가 연말까지 자신이 AGI라고 부를 만한 내부 시스템을 갖게 될 것이라고 말했다. 그러나 그는 이전부터 AGI를 느슨하게 정의된 용어라고 인정해 왔다. OpenAI의 전통적 정의는 “경제적으로 가치 있는 대부분의 업무에서 인간을 능가하는 고도의 자율 시스템”에 가깝다.
그리고 9월 3일, 상황은 한 단계 더 나아갔다. OpenAI는 GPT-6 Astra를 공개했고, 그렉 브록먼을 비롯한 경영진은 외부 인터뷰에서 ‘AGI 시대’의 시작이라는 표현까지 사용했다. 그런데 바로 이 지점에서 역설이 생긴다. AGI라는 단어가 강하게 돌아올수록, 그 단어만으로는 무엇을 달성했는지 설명하기 어려워졌다.
수학 문제를 풀고, 코드를 작성하고, 브라우저를 조작하고, 장기 과제를 수행하는 능력은 서로 다른 종류의 능력이다. 여기에 외부 시스템 접근권한과 자율 실행까지 붙으면 단순한 지능평가가 아니라 운영 리스크의 문제가 된다.
알트먼과 아모데이는 사실 ‘미래의 속도’보다 ‘정당화 방식’에서 갈린다
다리오 아모데이는 AGI라는 단어 대신 ‘Powerful AI’를 자주 쓴다. 그가 그리는 그림은 “데이터센터 안의 천재 국가”다. 생물학·물리학·수학·공학 등 여러 분야에서 최고 전문가 수준의 시스템이 대규모로 병렬 작동하는 미래다.
하지만 그의 최근 메시지에서 더 중요한 부분은 능력 자체보다 통제 방식이다. 아모데이는 6월 정책 글에서 일정 수준 이상의 프런티어 모델에 대해 자격을 갖춘 제3자가 사이버보안, 생물학적 위험, 통제 상실, 자동화된 AI 연구개발 위험을 의무 평가해야 한다고 주장했다. 위험이 받아들일 수 없는 수준이라면 배포를 막을 수 있어야 한다는 입장도 밝혔다.
8월에는 데미스 허사비스가 거론한 FINRA형 AI 감독기구를 공개 지지했다. 핵심은 “규제를 더 많이 하자”는 구호가 아니다. AI 기업이 자기 모델을 스스로 채점하고, 스스로 안전하다고 선언하는 구조만으로는 신뢰를 만들기 어렵다는 문제 제기다.
신뢰는 홍보가 아니라 인프라다
Astra가 이 변화를 가장 잘 보여준다. OpenAI는 Astra가 자사 Preparedness Framework에서 처음으로 사이버보안 능력 ‘Critical’ 단계에 도달했다고 밝혔다. 적절한 도구와 접근권한이 주어지면 사람의 단계별 지시 없이도 잘 방어된 시스템에서 알려지지 않은 취약점을 찾아내고 새로운 공격 방법을 개발할 수 있는 수준이라는 설명이다.
그래서 OpenAI는 모델 자체의 성능만 발표하지 않았다. 더 강한 격리, 체크포인트 암호화, 전체 작업 경로 모니터링, 내부 사용 전 차단형 정렬 평가 같은 통제장치를 함께 설명했다. 이것은 중요한 변화다. 최첨단 AI에서는 안전장치가 제품 바깥의 규정집이 아니라 제품 아키텍처의 일부가 되고 있다.
예측 가능성
어떤 능력이 있고, 어떤 위험이 있으며, 어떤 조건에서 기능을 제한하거나 배포를 늦추는지 사전에 알 수 있어야 한다.
검증 가능성
개발사 자체 평가뿐 아니라 외부 연구기관과 제3자가 성능과 위험을 재현할 수 있어야 한다.
추적 가능성
에이전트가 무엇을 보고 어떤 도구를 사용해 어떤 행동을 했는지 로그로 되짚을 수 있어야 한다.
책임 가능성
사고가 발생했을 때 차단, 보상, 법적 책임, 권한 회수의 주체가 명확해야 한다.
투자자가 봐야 할 것은 ‘모델 IQ’가 아니라 신뢰 조정 후 생산성이다
AI 투자 논리는 오랫동안 단순했다. 더 많은 컴퓨팅을 투입하고, 더 강한 모델을 만들고, 더 많은 업무를 자동화하면 매출이 커진다는 서사였다. 하지만 AI가 실제 업무 시스템에 깊게 들어갈수록 분모가 커진다. 추론비용, 통합비용, 보안비용, 오류비용, 보험과 규제비용이 함께 따라온다.
여기서 특히 중요한 것은 신뢰도와 오류비용이다. 데모에서 95% 정확도는 놀라울 수 있다. 그러나 하루 수백만 건이 처리되는 금융·의료·정부 시스템에서는 남은 5%가 막대한 손실과 책임으로 바뀔 수 있다.
그래서 금융, 의료, 법률, 국방, 제조 자동화처럼 오류 비용이 큰 산업에서는 “가장 똑똑한 모델”보다 충분히 똑똑하면서 감사 가능하고, 권한을 제한할 수 있고, 실패했을 때 멈출 수 있는 모델이 더 빨리 채택될 수 있다.
AGI라는 단어는 사라지지 않았다. 오히려 OpenAI는 다시 그 단어를 전면에 세웠다. 하지만 그럴수록 AGI의 선언 자체가 경쟁우위가 되기는 어려워진다. 회사마다 기준이 다르고, 능력의 종류도 다르기 때문이다.
더 오래 지속될 경쟁우위는 다른 곳에서 생길 가능성이 높다. 강한 모델을 기업의 실제 워크플로에 연결하면서도 데이터 접근권한, 실행 한도, 감사 로그, 외부 평가, 사고 대응까지 묶어 제공하는 능력이다.
모델 성능 격차가 다시 크게 벌어지면 순수한 기술 우위가 모든 것을 압도할 수 있다. 반대로 성능이 빠르게 평준화된다면 신뢰·유통·워크플로 장악력이 기업가치의 더 큰 부분을 차지할 가능성이 높다.
- 샘 알트먼은 올해 8월 TIME 인터뷰에서 OpenAI가 연말까지 자신이 AGI라고 부를 만한 내부 시스템을 갖게 될 것이라고 말했습니다.
- 그는 이전부터 AGI가 느슨하게 정의된 용어라는 점을 인정해 왔습니다.
- OpenAI의 전통적 정의는 경제적으로 가치 있는 대부분의 업무에서 인간을 능가하는 고도의 자율 시스템에 가깝습니다.
- OpenAI는 아스트라가 자사 Preparedness Framework에서 처음으로 사이버보안 능력 Critical 단계에 도달했다고 밝혔습니다.
- 적절한 도구와 접근권한이 주어지면 사람의 단계별 지시 없이도 잘 방어된 시스템에서 알려지지 않은 취약점을 찾고 새로운 공격 방법을 개발할 수 있는 수준이라는 설명입니다.
- OpenAI는 이에 맞춰 더 강한 격리, 체크포인트 암호화, 전체 작업 경로 모니터링, 내부 사용 전 차단형 정렬 평가를 함께 적용했다고 밝혔습니다.
- 다리오 아모데이는 AGI 대신 'Powerful AI'라는 표현을 자주 쓰며, 데이터센터 안의 천재 국가라는 그림을 제시합니다.
- 아모데이는 6월 정책 글에서 일정 수준 이상의 프런티어 모델에 대해 자격을 갖춘 제3자가 사이버보안, 생물학적 위험, 통제 상실, 자동화된 AI 연구개발 위험을 의무 평가해야 한다고 주장했습니다.
- 두 사람의 차이는 미래가 오는 속도보다, 그 능력을 무엇으로 정당화할 것인가에 있습니다.
- AI가 실제 업무 시스템에 깊이 들어갈수록 추론비용, 통합비용, 보안비용, 오류비용, 보험과 규제비용이 함께 늘어납니다.
- 데모에서 95% 정확도는 인상적이지만, 하루 수백만 건을 처리하는 금융과 의료, 정부 시스템에서는 남은 5%가 손실과 책임으로 바뀝니다.
- 오류 비용이 큰 산업에서는 가장 똑똑한 모델보다 감사 가능하고 권한을 제한할 수 있으며 실패 시 멈출 수 있는 모델이 더 빨리 채택될 수 있습니다.
- 어떤 능력과 위험이 있는지, 어떤 조건에서 기능을 제한하거나 배포를 늦추는지 사전에 공개돼 있어야 합니다.
- 개발사 자체 평가뿐 아니라 외부 연구기관과 제3자가 성능과 위험을 재현할 수 있어야 합니다.
- 에이전트가 무엇을 보고 어떤 도구로 무엇을 했는지 로그로 되짚을 수 있어야 하고, 사고 시 차단과 보상, 법적 책임, 권한 회수의 주체가 명확해야 합니다.
체크 포인트
인사이트 타임스 편집부
