“모델은 믿되, 절대 신뢰하지 마라” - 사티아 나델라가 제시한 슈퍼 인텔리전스 시대의 새로운 원칙

똑똑한 AI가 반드시 안전한 AI는 아니다

마이크로소프트 CEO 사티아 나델라가 강조해 온 AI 안전 철학에는 흥미로운 역설이 있다.

AI가 똑똑해질수록, AI를 무조건 믿지 않아도 되는 시스템이 더 중요해진다는 것이다.

과거 소프트웨어는 정해진 규칙대로 작동했다. 오류가 발생하면 코드와 실행 기록을 통해 원인을 추적할 수 있었다.

생성형 AI는 다르다. 결과를 낳은 내부 판단 과정을 완전히 설명하기 어렵다. 그런데 기업은 이런 AI에 이메일, 고객정보, 내부 문서, 업무 시스템 접근권한까지 부여하기 시작했다.

위험의 성격이 바뀌고 있는 셈이다.

잘못된 답변 하나로 끝나는 문제가 아니다. AI 에이전트가 잘못된 판단으로 기밀자료를 전송하거나, 중요한 정보를 삭제하거나, 외부 문서에 숨겨진 악의적인 명령을 실행할 수도 있다.

실제로 마이크로소프트는 10월 7일 공개한 새로운 PC 전략에서 AI 에이전트의 무단 데이터 접근을 제한하는 Microsoft Execution Containers(MXC)를 소개했다. 안전을 모델 자체에만 맡기지 않겠다는 방향을 제품 설계에서도 보여준 것이다.

왜 AI를 ‘내부자 위험’으로 보는가

내부자 위험(Insider Threat)은 회사 내부에서 정당한 접근권한을 가진 사람이 실수하거나 계정을 탈취당해 발생하는 보안 위협이다.

AI 에이전트에도 같은 문제가 적용된다.

기업이 AI에 고객 데이터베이스를 조회할 권한을 주면, 그 AI는 실제로 데이터를 읽을 수 있다. 문제는 AI가 올바른 요청과 악의적인 지시를 항상 정확히 구별한다고 보장할 수 없다는 점이다.

특히 외부 웹페이지나 이메일에 숨겨진 명령이 AI의 행동을 바꾸는 ‘프롬프트 인젝션(Prompt Injection)’은 기존 방화벽만으로 해결하기 어렵다.

따라서 핵심은 AI의 의도를 추측하는 것이 아니라 AI가 실수하더라도 피해가 일정 범위를 벗어나지 않게 설계하는 것이다.

지능은 공급받되, 권한은 직접 통제하라

핵심은 모델이 스스로 권한을 결정하지 못하도록 외부에서 실행을 제한하는 구조다.

이를 구현하려면 네 가지 설계 원칙이 필요하다.

• 최소 권한 : 작업에 필요한 정보와 도구에만 접근하도록 제한.
• 독립적 검증 : 중요한 거래나 데이터 변경은 별도 정책 엔진 또는 사람의 승인 적용.
• 감사 가능성 : AI의 도구 호출과 실행 결과를 추적 가능하고 변조에 강한 형태로 기록.
• 즉시 차단 : 이상행동 발생 시 권한과 실행을 중단할 수 있는 외부 통제 수단 확보.

이런 접근은 미국 국립표준기술연구소(NIST)가 제시해 온 신뢰 최소화 및 최소 기능 원칙과도 연결된다.

마이크로소프트에게 왜 유리한가

여기서 기술적 원칙은 사업 전략과 만난다.

AI 모델 시장에서는 OpenAI, Anthropic, Google, xAI 등 여러 기업이 경쟁한다. 기업 고객이 하나의 모델만 사용하는 대신 필요에 따라 교체하거나 함께 사용하는 환경도 확대되고 있다.

반면 데이터 접근권한, 보안 정책, 감사 기록, 업무 연결을 관리하는 플랫폼은 기업 운영체계에 깊이 통합된다.

마이크로소프트는 이미 Azure, Microsoft 365, Entra, Defender 등을 통해 기업 데이터와 보안 인프라에 접근할 수 있는 기반을 확보하고 있다.

모델을 만드는 경쟁에서는 여러 승자가 나올 수 있지만, 모델들이 기업 안에서 일하는 방식을 통제하는 시장에서는 기존 기업 소프트웨어 사업자의 강점이 커질 수 있다.

물론 오픈 웨이트 모델을 도입한다고 위험이 자동으로 해결되는 것은 아니다. 모델을 직접 운영할 자유가 생기는 만큼 접근통제와 보안 운영 책임도 커진다.