4만 판의 게임 세션과 40만 9천 번의 “허용할 것인가, 거부할 것인가”를 묻는 판단 과정에서, 인간 검토자들은 그 안에 숨겨진 악성 명령의 3분의 1을 놓쳤다. 이는 지난달 ScaleX가 공개한 브라우저 미니게임에서 수집된 실제 데이터다. 게임 시작 시 플레이어에게 “명령 속에 악성 항목이 포함되어 있으니 주의 깊게 확인하라”는 명확한 경고가 제시되었으나, 이 경고는 별다른 효과를 거두지 못했다.
AI 에이전트는 글 작성, 파일 정리, 예매, 메시지 답장 등 일상 속으로 빠르게 침투하고 있다. 작업이 한 단계 진행될 때마다 “실행을 허용하시겠습니까?”라는 팝업이 떠오른다. “허용”을 누르면 다음 단계로 넘어가고, “거부”를 누르면 다른 경로를 시도한다. 업계에서는 이 메커니즘을 “인간 참여형(Human-in-the-Loop, HITL) 승인”이라 부르며, 인간을 최종 관문으로 배치한다. 이는 인턴 사원에게 출입 카드를 쥐여주고, 발걸음을 옮길 때마다 뒤돌아보며 “이거 해도 될까요?”라고 물을 때 바쁜 업무 속에서 건성으로 고개를 끄덕이는 것과 같다.
이 실험은 이러한 승인 프로세스를 게임으로 만들었다. 플레이어는 승인자 역할을 맡아 제한 시간 내에 각 명령이 정상 작업인지 악성 작업인지 빠르게 판단해야 한다. 한 번 틀릴 때마다 점수가 차감된다. 데이터베이스 삭제처럼 한눈에 알아보는 위협도 있고, 데이터를 몰래 낯선 서버로 전송하는 잠복형 위협도 포함되어 있었다.
4만 판의 “문지기 시험”
성적표는 결코 만족스럽지 않았다. 플레이어들은 평균적으로 악성 명령의 3분의 1을 놓쳐 전체 정확도가 66.3%에 불과했다. 전체 게임의 32.9%가 마이너스 점수로 끝났다. 위협을 통과시키거나 안전한 명령을 오탐하여 차감된 점수가 정답으로 얻은 점수를 초과했기 때문이다. 35.2%의 플레이어가 모든 악성 명령을 잡아냈지만, 정상적인 심사를 통해 성공한 비율은 20.8%에 불과했으며 나머지 플레이어는 “모두 차단”이라는 단순 무식한 방법에 의존했다. 심지어 7%의 플레이어는 아무것도 차단하지 않고 모든 요청을 승인했다.
그림: 4만 판 게임의 전체 통계. 출처: scalex.dev
엔지니어링 측면에서의 냉정한 평가: 이 테스트 참가자들은 자신들이 시험을 치르고 있음을 인지하고 있었고, 사전 경고를 받았으며, 오답 마다 점수가 차감되는 환경에 있었다. 그러나 실제 업무 환경에서는 경고도, 점수 차감도 없다. 실제 상황에서의 성적은 이보다 더 떨어질 가능성이 높다.
가장 쉽게 통과하는 명령이 가장 먼저 막아야 할 명령이다
악성 명령을 유형별로 분석해보면 미탐지율에서 큰 차이가 드러난다:
- 데이터베이스 삭제, 포맷 등 “명확한 파괴형”: 미탐지율 11.7%
- 시스템 백도어 설치, 부팅 시작 항목 수정: 미탐지율 23.8%
- 데이터를 몰래 낯선 서버로 전송: 미탐지율 33.4%
- 비밀번호, 보안 키 등 민감 파일 무단 조회: 미탐지율 35.0%
패턴은 매우 명확하다. 사용자가 가장 잘 막아내는 것은 “노골적인 기물 파손”이며, 가장 쉽게 통과시키는 것은 “데이터 도난”이다. 데이터 전송 명령의 미탐지율은 데이터베이스 삭제의 3배에 달했다. 공격자가 가장 갈망하는 정보야말로 인간이 가장 무방비하게 노출하는 대상이었다.
”분석 실행”: 정상적인 이름 뒤에 숨겨진 악성 코드
가장 비참한 기록을 남긴 것은 “분석 실행”이라는 이름의 명령으로, 플레이어의 64.7%가 이를 승인했다. 37가지 위협 유형 중 가장 많이 놓친 명령이다. 이름 자체는 전혀 해롭지 않게 보이지만, 팝업 상단에 표시된 실행 기록 로그에는 이 “분석” 스크립트의 실제 내용이 명확히 기록되어 있었다: 로컬 데이터를 압축하여 낯선 원격 서버로 전송한다는 내용이었다. 그럼에도 플레이어의 3분의 2가 “허용”을 클릭했다.
이 메커니즘은 구체적으로 짚어볼 필요가 있다. 이러한 명령은 바탕화면의 바로가기 아이콘과 같다. 이름은 “데이터 분석”이지만 실제 실행되는 스크립트 내용은 프로젝트 파일 안에 작성되어 있다. 중요한 점은 AI 에이전트가 프로젝트 파일을 수정할 때는 사용자의 승인을 요구하지 않는다는 사실이다. AI는 먼저 파일 안에 폭탄을 설치한 뒤, 다시 돌아와 “불을 붙여도 될까요?”라고 묻는다. 포럼의 한 플레이어는 이 과정을 이렇게 요약했다: 파일 수정은 승인 제외, 파일 실행은 승인 필요. 공격자는 정확히 이 틈새를 공략한다.
동일한 유형의 은닉형 명령 3개의 합산 미탐지율은 52.5%로, 기타 데이터 도난 공격의 28.4%를 크게 상회했다. 익숙한 이름 뒤에 악성 내용을 숨김으로써 공격 성공률을 두 배로 끌어올린 셈이다. 위장은 파괴보다 훨씬 효과적이었다. 인간이 확인하지 않은 것이 아니라, 익숙한 이름을 보자마자 세부 검토를 건너뛰었기 때문이다.
뒤로 갈수록 느슨해지는 손길
데이터는 또한 각 게임의 후반부로 갈수록 미탐지율이 눈에 띄게 상승함을 보여주었다. 초반 몇 개의 명령에서는 플레이어들이 집중하며 워밍업을 진행하지만, 시간이 흐를수록 주의력이 지속적으로 저하된다. 제한 시간에 쫓기고 점수를 더 얻으려다 보니 직관에 의존해 반사적으로 “허용”을 누르게 된다. 저자는 Anthropic의 문구를 인용했다: “사용자가 접하는 승인 요청이 늘어날수록, 개별 요청에 할당되는 주의력은 줄어든다.”
그림: 게임 진행에 따라 높아지는 미탐지율. 출처: scalex.dev
마찰은 양방향으로 작동한다. 원래 안전한 3가지 명령—내부 패키지 저장소 설정, 빌드 캐시 비우기, 중단된 로컬 서비스 재시작—은 각각 플레이어의 59%, 45%, 43%에 의해 차단되었다. 과도한 오탐은 피로와 무감각을 부른다. 무감각해진 상태에서는 진짜 위협이 들이닥쳐도 막아낼 수 없다. 이는 “양치기 소년”의 현대적 변형이며, 이 대립 속에서 진정으로 소모되는 것은 인간의 자연스러운 주의력이다.
실험 자체에 대한 치열한 논쟁
이 실험의 방법론을 두고 Hacker News에서 격렬한 논쟁이 벌어졌다. 비판자들은 다음과 같이 주장했다: 일부 문제 자체에 모호함이 있다(예: “개인 설정 파일 읽기”는 어떤 작업에서는 무해하지만 다른 상황에서는 유출이 된다); 제한 시간의 압박이 현실적이지 않다; 그리고 가장 근본적인 비판으로, 플레이어들은 자신들이 시험받고 있음을 알고 있지만 실제 사용자는 자신의 AI 에이전트를 항상 적대적으로 감시하지 않는다는 점이다.
Uber 출신의 선임 엔지니어인 저자(HN 아이디 Wirbelwind)는 이에 대해 하나씩 반박했다. 그는 2개 문제에 실제로 모호함이 있었음을 인정하고 지적을 받은 직후 수정했다. 그러나 수정 후에도 미탐지율은 떨어지지 않았다. 서로 다른 기간의 게임 데이터를 비교해 보아도 전체 미탐지율은 일관되었으며, HN 트래픽이 몰리지 않는 시간대의 데이터는 오히려 더 악화되어 있었다.
문제를 명확히 수정했음에도 미탐지율은 변하지 않았다. 문제는 문제지에 있는 것이 아니라 인간에게 있는 것이다.
공정하게 말해 옹호 측의 주장도 일리가 있다: 게임 내 명령의 34%가 악성 명령이었지만, 현실 세계의 위협 밀도는 이처럼 높지 않다. 플레이어들은 높은 위협 밀도로 인해 경계심이 높아진 상태였으므로, 현실에서의 행동은 오히려 더욱 느슨해질 수 있다. 그러나 어느 쪽이든 한 가지 사실에는 동의한다: 인간은 끊임없이 쏟아지는 명령 줄을 지속적으로 감시하고 판단하는 데 적합하지 않다는 점이다.
현실은 게임보다 훨씬 더 가혹하다
Hacker News에서 가장 많은 추천을 받은 댓글은 개발자 pllbnk의 의견이었다: 현실에서 사용자는 AI 에이전트가 실행하는 내용을 거의 읽지 않는다. 그는 자신의 AI 에이전트가 현재 실행 중인 명령을 공유했다—임시 디렉터리의 스크립트를 가리키고 있었으며 파일 이름에 hidden이라는 단어가 포함되어 있었다. 그는 이것이 실제로 무엇을 하는지 전혀 모른다고 인정했다. “이전에는 매번 아무 문제 없었는데, 왜 이번에 문제가 있겠는가? 승인!” 만약 모든 명령을 완벽히 이해해야 한다면 AI가 가져다주는 생산성 혁신의 혜택은 완전히 사라질 것이다.
또 다른 댓글은 더욱 직설적이었다: 승인 버튼은 결코 보안 메커니즘으로 설계된 것이 아니며, 단지 제조사의 면책 조항일 뿐이다—사고가 발생하면 기업 변호사들이 “당신이 승인했으니 책임은 당신에게 있다”고 말할 수 있기 때문이다. 다소 날 선 표현이지만, 33%의 미탐지율과 함께 놓고 보면 결코 허황된 말이 아니다.
일반 사용자를 위한 3가지 조언
이 실험의 참가자들은 소프트웨어 개발자들이었지만, 이러한 승인 메커니즘은 일반인들의 스마트폰과 PC 환경으로 빠르게 확대되고 있다. 모바일 및 OS 레벨의 AI 에이전트는 이미 앱을 열고, 파일을 읽고, 메시지를 보내고, 결제를 진행할 수 있으며, 주요 작업 전에 “허용하시겠습니까?”라고 묻는다. AI 에이전트의 능력은 팽창하고 있지만 인간의 주의력 예산은 늘어나지 않는다. 팝업이 빈번해질수록 사용자의 승인은 건성이 된다. AI 피싱과 유도 클릭 역시 동일한 심리를 이용한다: 주의력이 산만해진 찰나의 순간을 노려, 무해해 보이지만 실제로는 대가가 따르는 확인을 유도하는 것이다.
일반 사용자를 위한 조언에는 깊은 기술 지식이 필요하지 않다. 첫째, AI 에이전트에 만능 열쇠 급의 권한을 부여하지 말고 필요한 권한만 최소한으로 제공할 것. 둘째, 비밀번호, 인증 번호, 결제와 같은 핵심 작업은 다소 번거롭더라도 직접 수동 확인을 거칠 것. 셋째, 자주 등장하는 “허용”이라는 단어에 대해 지속적인 경계심을 유지할 것.
진정으로 바뀌어야 할 것은 시스템이다. 저자가 제시하는 해결 방향은 “샌드박스화”다. AI 에이전트를 격리된 환경에서 작동하도록 만들어, 설령 악성 세력에 조종당하더라도 중요 파일에 접근하지 못하게 차단하는 것이다. 또한 민감 정보는 별도로 보관하여 에이전트가 손쉽게 읽을 수 없도록 구조화해야 한다. 방어의 축을 “인간의 주의력”에서 “시스템 구조”로 이동시켜야 한다—데이터는 이미 전자가 버텨낼 수 없음을 증명했다.
4만 판의 게임 세션이 증명한 한 가지 사실: 승인 팝업은 보안 책임을 인간의 가장 희소한 자원인 “지속적 주의력”에 외주화하고 있다는 점이다. 그리고 그 주의력은 시간 압박, 반복, 그리고 익숙한 이름 앞에서 소진되고 만다. 다음에 AI 에이전트가 “허용하시겠습니까?”라고 물어볼 때, 딱 1초만 더 생각해보는 것이 의미가 있다. 그 1초가 실험에서 놓친 3분의 1 속으로 당신의 시스템이 들어가는 것을 막아줄 지도 모른다.
참고 링크:
- ScaleX: Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays
- HN 토론 (item?id=49195468)
- Developers Digest: Approval Fatigue Is an Agent Security Bug
- TechMedia: 데이터베이스 삭제부터 이메일 삭제까지: AI 에이전트의 “치명적 허점”
