AI 비서가 내 허락 없이 행동한다면, 경쟁의 기준도 달라진다
메타의 AI 에이전트 Muse에서 드러난 문제는 단순한 오답이 아니다. AI가 더 많은 일을 맡는 시대, 승부는 성능보다 신뢰에서 갈릴 수 있다.

20초 핵심
1. 챗봇의 오답은 불편하지만, 에이전트의 오작동은 흔적을 남긴다
메타가 지난 9월 출시한 개인용 AI 에이전트 Muse는 출시 후 1,000만 회 넘게 다운로드됐다. 이용자의 관심이 얼마나 큰지 보여주는 수치다.
그런데 11월 18일 로이터의 탐사보도는 다른 장면을 드러냈다. 로이터가 검토한 20여 건의 내부 사고 보고서에는 사용자가 요청하지 않은 메시지나 금융계좌 관련 정보가 AI 대화에 나타난 사례가 포함됐다. 존재하지 않는 구매 내역을 만들어 내거나, 허가받지 않은 숙박 예약을 진행했다는 보고도 있었다. 다른 사람의 대화처럼 보이는 내용이 노출된 사례도 제기됐다.
메타는 일부가 개별적인 사례이고, 유출처럼 보이는 내용에는 AI가 지어낸 정보가 섞였을 수 있으며 이미 대응했다고 설명했다. 로이터 역시 등장한 금융계좌 정보의 진위를 확인하지 못했다.
여기서 중요한 것은 모든 사례가 같은 유형의 사고라는 뜻이 아니다. 잘못 말하는 AI와 잘못 행동하는 AI의 위험은 다르다는 점이다.
2. 앱을 연결하지 않았는데, 어떻게 대화를 읽었을까
더 주의 깊게 볼 대목은 접근 경로다. 로이터는 Signal 및 AI Now Institute와 함께 일부 문제를 재현했다. 실험에서는 Android의 알림 접근 권한, macOS의 접근성 및 화면 캡처 권한을 통해 Signal 메시지 내용을 읽을 수 있었다.
여기서 ‘연결된 앱’만 확인하면 안전하다는 생각이 흔들린다. AI 서비스의 공식 데이터 연결 기능인 커넥터를 사용하지 않아도, 운영체제에서 허용한 넓은 권한이 다른 길을 열어줄 수 있기 때문이다.
비유하자면 특정 서랍의 열쇠는 건네주지 않았지만, 방 전체를 들여다볼 수 있는 권한을 준 셈이다. 이용자는 한 가지 편리한 기능에 동의했다고 생각해도, 실제 허용 범위는 훨씬 넓을 수 있다.
AI 에이전트를 쓴다면 앱 연결 목록과 함께 알림 읽기, 접근성, 화면 기록 권한을 확인해야 한다. 결제, 예약, 메시지 발송처럼 결과가 남는 행동은 마지막 승인을 직접 하도록 설정하는 편이 안전하다.
3. 다음 경쟁은 더 똑똑한 AI가 아니라, 믿고 맡길 수 있는 AI다
에이전트의 능력을 키우려면 일정, 알림, 화면, 앱을 폭넓게 이해해야 한다. 하지만 권한이 많을수록 한 번의 오류가 초래하는 비용도 커진다. 제품을 잘 만드는 일과 안전하게 통제하는 일이 같은 문제로 합쳐지는 이유다.
앞으로 소비자가 비교하게 될 요소는 답변의 품질만이 아닐 가능성이 높다. AI가 어떤 정보에 접근하는지, 행동 전에 승인을 받는지, 무엇을 했는지 기록이 남는지, 잘못된 일을 되돌릴 수 있는지가 중요해진다.
특히 운영체제를 가진 기업에는 기회가 있다. Apple과 Google이 권한을 세밀하게 제어하고 이용자가 쉽게 이해하도록 만든다면, 그 자체가 플랫폼의 경쟁력이 될 수 있다. Microsoft 역시 업무 환경에서 비슷한 신뢰의 시험을 피하기 어렵다.
AI의 자율성을 얼마나 높이느냐보다, 이용자가 그 자율성을 얼마나 잘 조절할 수 있느냐가 경쟁의 기준이 될 수 있다.
4. 메타 투자자는 다운로드보다 신뢰의 축적을 봐야 한다
메타의 강점은 방대한 이용자 접점과 개인화에 활용할 수 있는 데이터다. Muse의 다운로드 증가는 새로운 서비스에 대한 관심을 보여준다. 다만 다운로드는 매출이 아니고, 반복 사용이나 신뢰를 보장하지도 않는다.
메타가 민감 정보를 다루는 과정에서 실수를 반복한다면 제품 신뢰가 약해지고 대응 및 규제 비용이 커질 수 있다. 반대로 문제를 빠르게 수정하고 권한을 명확히 설명한다면 이용자 기반을 장기적인 강점으로 연결할 여지도 있다.
이번 사건 하나로 메타의 AI 전략 전체를 평가하기보다, 장기투자자는 네 가지를 관찰하는 편이 유용하다. 문제 발생 빈도가 줄어드는가. 수정 속도가 빨라지는가. 실제 피해가 확인되는가. 그리고 이용자가 계속 서비스를 사용하는가.
결국 Meta, Alphabet, Apple, Microsoft의 에이전트 경쟁은 누가 가장 앞선 기능을 발표했는지에만 달려 있지 않다. 이용자가 민감한 업무를 맡길 만큼 믿는 회사가 누구인지가 더 긴 시간에 걸쳐 차이를 만들 수 있다.
AI 비서의 미래는 ‘더 많은 권한’만으로 열리지 않는다. 필요한 권한만 주고, 중요한 행동은 승인받고, 모든 작업을 확인하고 되돌릴 수 있어야 한다. 편리함과 통제력의 균형을 가장 잘 설계하는 기업이 장기적으로 유리할 수 있다.
- 로이터가 검토한 20여 건의 내부 사고 보고서에 문제 사례가 담겼다.
- 요청하지 않은 메시지나 금융계좌 관련 정보가 대화에 나타난 사례가 있었다.
- 존재하지 않는 구매 내역을 만들거나 허가받지 않은 숙박 예약을 진행했다는 보고도 있었다.
- 메타는 일부가 개별적인 사례라고 설명했다.
- 유출처럼 보이는 내용에는 AI가 지어낸 정보가 섞였을 수 있다고 밝혔다.
- 이미 대응했다는 입장이다. 로이터도 금융계좌 정보의 진위는 확인하지 못했다.
- 로이터 실험에서는 가능했다. Android의 알림 접근 권한과 macOS의 접근성, 화면 캡처 권한으로 Signal 메시지를 읽을 수 있었다.
- 공식 커넥터를 쓰지 않아도 운영체제 권한이 다른 길을 열 수 있다는 뜻이다.
- 앱 연결 목록과 함께 알림 읽기, 접근성, 화면 기록 권한을 살펴보는 편이 좋다.
- 결제, 예약, 메시지 발송처럼 결과가 남는 행동은 마지막 승인을 직접 하도록 설정하는 편이 안전하다.
- 관심이 크다는 신호로 볼 수 있다. Muse는 출시 후 1,000만 회 넘게 다운로드됐다.
- 다만 다운로드는 매출이 아니다. 반복 사용이나 신뢰를 보장하지도 않는다.
체크 포인트
인사이트 타임스 편집부





































