OpenAI와 Anthropic이 서로를 시험한다 - AI 안전이 ‘비용’에서 ‘진입장벽’으로 바뀌는 순간
두 회사가 경쟁사의 상용 모델을 직접 공격적으로 시험하는 방안을 협의하고 있다. 핵심은 “AI 개발을 멈춘다”가 아니다. 더 강한 모델을 누가 더 빨리 만드는지에 더해, 그 모델이 통제 가능하다는 사실을 누가 더 설득력 있게 증명하느냐가 경쟁력의 일부가 되고 있다는 뜻이다.
20초 핵심
경쟁사의 모델을 경쟁사가 깨보는 구조
보도된 협상안은 간단하다. OpenAI와 Anthropic이 서로의 상용 AI 모델에 API로 접근하고, 상대 모델의 취약점과 예상 밖 행동을 공격적으로 시험한다. 테스트 과정에서 얻은 상대방의 데이터는 보관하지 않는 조건도 포함된 것으로 전해졌다.
이전까지 AI 안전 평가는 대체로 회사 내부 평가, 제한적인 외부 벤치마크, 제3자 레드팀으로 이뤄졌다. 제안대로라면 가장 기술 수준이 비슷하고 상대 모델의 약점을 가장 잘 이해할 수 있는 직접 경쟁사가 외부 레드팀 역할을 맡게 된다.
| 기존 구조 | 제안되는 구조 |
|---|---|
| 자체 안전 평가 중심 | 직접 경쟁사가 상대 모델을 공격적으로 검증 |
| 외부 평가는 제한된 시간과 접근권한 | 상용 API를 통한 실제 행동 검증 |
| 안전 주장이 기업의 자율선언에 가까움 | 계약과 상호검증을 통한 책임 강화 |
| 문제 발생 뒤 원인 분석 | 출시 전후 취약점 탐지 가능성 확대 |
다만 아직 협상 중인 구상이다. 어떤 모델을 대상으로 하는지, 얼마나 깊게 테스트할지, 발견된 결함의 공개 의무가 있는지, 최종 계약이 체결되는지는 확정되지 않았다.
왜 갑자기 안전이 산업의 중심 이슈가 됐나
AI가 챗봇에 머물 때 안전 문제는 주로 “위험한 답변을 하지 않는가”에 집중됐다. 지금은 다르다. 최신 모델은 코드를 쓰고, 웹을 탐색하고, 도구를 호출하고, 파일을 다루고, 사이버보안 업무까지 수행한다. 잘못된 답변이 아니라 잘못된 행동이 문제가 될 수 있다.
OpenAI는 9월 16일 모델의 비정상 행동을 체계적으로 추적·공개하는 프레임워크를 발표했다. 훈련, 평가, 테스트, 실제 배포 전 과정에서 승인되지 않은 행동, 감독 회피, 보호장치 실패 같은 사례를 공개 대상으로 삼겠다고 밝혔다. OpenAI의 GPT-6 Astra는 회사 자체 기준에서 처음으로 사이버보안 능력 ‘Critical’ 수준에 도달했고, 이에 따라 내부 사용과 배포 전에 더 강한 차단과 모니터링이 필요해졌다.
모델이 더 똑똑해지는 속도보다 중요한 질문이 생겼다. “이 모델이 실제 시스템에서 무엇을 할 수 있으며, 잘못 행동할 때 우리가 그것을 알아차리고 멈출 수 있는가.”
Anthropic도 같은 방향으로 움직이고 있다. 다리오 아모데이는 외부 평가자가 직원과 비슷한 수준의 접근권한을 갖고 모델 안전성을 지속적으로 검증하는 ‘embedded evaluation’을 제안했다. Anthropic은 9월 18일 Accenture와 협력해 이 체계를 구축하기로 했고, 양사는 향후 5년 동안 각각 최소 10억달러를 투입할 계획이다.
투자자에게 더 중요한 숫자는 ‘20억달러’다
AI 안전을 둘러싼 논쟁은 철학적으로 들리지만, 투자자에게는 매우 회계적인 문제다. 레드팀 인력, 보안 인프라, 로그 저장과 분석, 외부 감사, 법무, 컴플라이언스, 사고 보고, 평가용 연산 자원이 모두 비용이다.
향후 5년간 독립 평가 역량 구축에 투자 예정
“안전하다고 주장”하는 단계에서 “안전함을 증명”하는 단계로 이동
단기적으로는 비용 부담이다. 하지만 역설적으로 이 비용은 대형 사업자의 진입장벽이 될 수 있다. 최첨단 모델을 만드는 데 막대한 GPU와 전력이 필요했던 것처럼, 앞으로는 그 모델을 검증하고 감시하고 기업 고객에게 설명할 수 있는 조직까지 필요해질 수 있다.
좋은 모델 하나를 공개하는 것과, 은행·병원·정부기관이 안심하고 사용할 수 있는 모델 운영체계를 제공하는 것은 전혀 다른 사업이다. 이 차이가 커질수록 자본력, 보안 인력, 클라우드 인프라, 법무와 기업 영업망을 가진 대형 플랫폼이 유리해질 가능성이 있다.
B2B AI에는 오히려 수요 촉진 요인이 될 수 있다
대기업이 AI 에이전트를 도입할 때 가장 큰 질문은 벤치마크 점수가 아니다. 누가 어떤 데이터에 접근했는지, AI가 어떤 권한으로 행동했는지, 사고가 났을 때 재현할 수 있는지, 공급업체가 책임을 질 수 있는지가 먼저다.
그래서 안전 규칙이 강화되면 단기적으로 도입 속도가 느려질 수 있지만, 반대로 구매 담당자와 법무팀이 “이 정도 통제가 있다면 써도 된다”고 판단할 기준도 생긴다. 안전 표준이 B2B AI 확산을 막는 브레이크이면서 동시에 대규모 도입을 가능하게 하는 안전벨트가 될 수 있다는 뜻이다.
프런티어 모델 기업
기회 : 신뢰성과 감사를 기업 계약의 차별화 요소로 만들 수 있다.
리스크 : 평가 비용, 출시 지연, 사고 공개에 따른 평판 비용이 커질 수 있다.
클라우드·하이퍼스케일러
기회 : 보안, 접근통제, 관측, 로그, 컴플라이언스 기능의 가치가 높아진다.
리스크 : 규제가 사용량 증가 속도를 늦출 수 있다.
AI 반도체·데이터센터
기회 : 평가, 시뮬레이션, 모니터링 역시 추가 연산을 요구한다.
리스크 : 모델 출시 간격이 길어지면 일부 선행 CAPEX가 조정될 수 있다.
사이버보안·거버넌스
기회 : 에이전트 권한 관리, 감사 로그, 레드팀, 정책 관리 시장이 커질 수 있다.
리스크 : 표준이 확정되기 전 고객이 구매를 미룰 수 있다.
이번 움직임을 “AI 기업들이 겁을 먹고 개발을 늦춘다”로 읽으면 산업의 변화를 너무 좁게 보게 된다. 더 본질적인 변화는 프런티어 AI의 경쟁 기준이 성능 한 축에서 성능 + 통제 가능성 + 감사 가능성 + 책임 구조 로 넓어지고 있다는 점이다.
자동차가 빨라질수록 브레이크와 충돌시험이 더 중요해졌듯, AI도 능력이 강해질수록 안전 체계가 제품의 부가 기능이 아니라 시장 진입 조건이 될 수 있다. 이 과정에서 비용은 올라간다. 그러나 그 비용이 산업 전체의 신뢰를 높이고 대기업 고객의 도입 장벽을 낮춘다면, 장기적으로는 시장 확대 비용에 가까울 수도 있다.
반대 시나리오도 있다. 주요 AI 기업들이 안전 기준을 지나치게 높게 만들면, 소수 대기업만 이를 감당할 수 있어 경쟁이 약해질 수 있다. 경쟁사끼리 표준을 만드는 과정은 반독점 논란도 피하기 어렵다. 결국 안전 체계가 진짜 공공재가 될지, 기존 강자의 해자가 될지는 앞으로의 규제 설계에 달려 있다.
- 아니다. 현재 확인된 것은 상용 모델을 서로 안전성 측면에서 시험하는 협상이다. 제품, 고객, 인재, 연산자원 경쟁은 계속될 가능성이 높다.
- 곧바로 그렇게 연결하기 어렵다. 대규모 사전학습의 속도가 다소 신중해질 수는 있지만, 평가·추론·모니터링·보안 시뮬레이션도 상당한 연산을 필요로 한다. 중요한 것은 전체 CAPEX 규모보다 연산의 용도가 어떻게 바뀌는지다.
- 특정 종목보다 산업 구조를 보는 편이 낫다. 클라우드 보안, 에이전트 권한관리, 로그와 관측, AI 레드팀, 규제 대응 소프트웨어처럼 “AI를 안전하게 운영하는 층”의 중요도가 높아질 가능성이 있다.
- 상호 검증 협약이 선언 수준에 머물거나, 기업 고객이 안전 인증에 추가 비용을 지불하지 않거나, 정부가 전혀 다른 규제체계를 강제한다면 안전이 대형 플랫폼의 경제적 해자로 발전한다는 가설은 약해진다.
체크 포인트
인사이트 타임스 편집부
