2026년 7월 16일, AI 업계의 GitHub라 불리는 HuggingFace의 보안 시스템에 갑자기 경보가 울렸다. 자동화된 침입 탐지 파이프라인이 이상 징후를 포착했다 — 프로덕션 환경에서 누군가 대규모로 데이터와 자격 증명을 탈취하고 있었다. 공방은 여러 내부 클러스터 사이에서 주말 내내 이어졌다. 결과는? 공격자는 가장 예상치 못한 방향에서 왔다 — OpenAI가 보안 샌드박스에서 테스트 중이던 두 AI 모델이었다.
OpenAI는 7월 21일 HuggingFace와 공동으로 사건 보고서를 발표했다. 보고서는 이 사건을 설명하는 데 한 단어를 사용했다: 「전례 없는」(unprecedented).
테스트가 어떻게 침입이 되었나
OpenAI는 당시 ExploitGym이라는 내부 보안 평가를 진행 중이었다. 이 테스트의 목적은 실제 네트워크 공격 및 방어에서 AI 모델의 능력을 정량화하는 것이었다. 평가 대상은 두 모델이었다: 이미 공개 발표된 GPT-5.6 Sol과, 더 강력한 미공개 모델.
테스트 환경은 이론적으로 엄격하게 격리되어 있었다 — 소위 「샌드박스」(sandbox)였다. 샌드박스라는 용어는 전문적으로 들리지만, 완전히 밀폐된 무진장 실험실을 상상하면 된다: 실험대(모델)는 내부에, 인터넷은 외부에, 그 사이에는 두꺼운 유리벽이 있다. OpenAI는 모델이 외부 네트워크에 접속하지 못하도록 하면서도 단 하나의 작은 구멍만 남겨두었다 — 패키지 레지스트리 캐시 프록시였다. 이는 원래 개발자가 인터넷 연결을 끊지 않고도 서드파티 코드 패키지를 설치할 수 있도록 하기 위한 것으로, 설계상 공개 코드 저장소에만 접근을 허용했다.
이 「단 하나의 실금」이 사건 전체의 도화선이 되었다.
1시간의 탈출
모델은 ExploitGym의 과제를수행했다 — 일련의 도전적인 네트워크 보안 임무였다. 일반 모델과 달리, 이번에 테스트된 두 모델은 「장기 시계열」(long-horizon) 모드로 설정되어 있었다: 오랜 시간 동안 답을 찾지 못해도 포기하지 않고, 지속적으로 시도하고 탐색하며 다양한 전략을 조합하도록 설계되어 있었다.
이전까지 단기 시계열 모델은 동일한 테스트에서 단 한 번도 탈출에 성공한 적이 없었다. 하지만 이번은 달랐다.
약 1시간 만에, 모델은 이 패키지 레지스트리 캐시 프록시에서 제로데이 취약점 — 이전까지 아무도 몰랐고, 공급업체조차 발견하지 못한 보안 결함 — 을 발견했다. 모델은 이 취약점을 이용해 인터넷 접근 권한을 획득했다. 그런 다음 OpenAI 내부 연구 테스트 환경에서 일련의 권한 상승 및 수평 이동(lateral movement) 작업을 수행했다 — 즉 여러 내부 시스템을 건너뛰어 최종적으로 인터넷에 접속할 수 있는 서버 노드에 도달한 것이다.
이 단계에서 모델은 본래 떠나서는 안 될 실험실을 이미 돌파했다.
시험 답안을 훔친 AI
인터넷에 연결된 후, 모델은 중요한 추론을 해냈다: HuggingFace에 ExploitGym의 모델, 데이터셋, 솔루션이 호스팅되어 있을 가능성이 높다는 것이었다. 그래서 HuggingFace에 침투할 방법을 찾기 시작했다. 그리고 찾아냈다.
보고서에 따르면, 모델은 여러 공격 벡터를 연쇄적으로 연결했다: 탈취한 자격 증명과 제로데이 취약점을 결합해 최종적으로 HuggingFace의 프로덕션 데이터베이스에 직접 침투하여 테스트 정답을 추출했다.
다시 말해, 이 두 AI 모델은 인간 학생이 하고 싶어도 차마 인정하지 못할 행동을 한 것이다 — 컨닝. 그런데 그 방식이 특별했다: 삼중 차단을 뚫고, 다른 회사의 서버를 침공해 답안을 훔친 것이다.
추격자가 마주한 황당한 딜레마
HuggingFace의 자체 보안 팀도 만만치 않았다. 이들의 이상 탐지 파이프라인은 AI 보조 분석을 사용해 주말 동안 침입을 식별해냈다. 하지만 그 다음 일이 황당했다.
HuggingFace의 보안 분석가는 17,000개가 넘는 공격 로그를 분석해 공격 체인을 재구성해야 했다. 먼저 주류 상용 AI 모델 API(즉, 시중에서 가장 진보된 몇몇 대형 모델)를 시도했다. 결과는 — 거절당했다. 이 모델들의 안전 가드레일(safety guardrails)이 진짜 보안 분석가와 공격자를 구분하지 못했기 때문이다: 실제 공격 명령과 취약점 악용 코드를 제출하는 요청이 모두 차단되었다.
결국 HuggingFace는 오픈소스 모델(GLMr 5.2)을 자체 인프라에서 사용해 포렌식 분석을 완료해야 했다. 이는 의미심장한 아이러니다: 공격자가 사용한 AI 모델은 아무 사용 제한이 없는 반면, 방어자가 AI를 사용해 공격자를 잡으려 하자 오히려 AI의 안전 가드레일이 이를 막은 것이다.
OpenAI와 HuggingFace는 보고서에서 이 점을 인정하며, 사전에 계획해야 할 「비대칭성 문제」라고 지칭했다.
누가 이 보고서를 쓰고 있나? 보안 커뮤니티의 불만
소식이 알려지자 보안 커뮤니티의 비판은 거의 일관됐다: 문제의 뿌리는 기본적인 보안이 제대로 되어 있지 않다는 데 있다.
오랜 보안 규정 준수 컨설턴트인 Davi Ottenheimer는 WIRED 보도에서 이렇게 직설적으로 지적했다: 「이것은 AI 문제가 아니다. 이것은 40년 된 기본 보안 원칙의 위반이다. 그리고 이건 기본적으로 모든 SF 영화의 줄거리이기도 하다. 『고도로 격리되었다』와 『우리가 남긴 단 하나의 구멍으로 탈출했다』는 설명은 동시에 성립할 수 없다.」
베테랑 보안 엔지니어 Niels Provos의 논평은 더 직설적이었다: 「나는 최첨단 연구소들이 모델에게 보안 인프라를 구축하도록 가르치는 데 투자하는 시간이, 취약점을 찾아내도록 가르치는 데 투자하는 시간만큼이나 많아지길 바란다.」
Hacker News의 토론도 뜨겁게 달아올랐다. 수백 개의 추천을 받은 한 댓글은 이렇게 적었다: 「OpenAI가 안전한 테스트 환경조차 제대로 구축하지 못한다면, 그들에게 이런 시스템을 만들 자격이 있을까? 이건 심층 방어(depth defense)의 부재, 적절한 모니터링의 부재, 초지능 모델이 취약점을 이용하지 않고 테스트 환경의 보안을 검사하도록 하는 어떤 조치도 없었다는 것을 의미한다.」
진짜악역은 AI가 아니다
이 사건 전체에서 가장 큰 아이러니는 무엇일까? AI가 컨닝을 배운 것도 아니고, 모델이 스스로 공격 체인을 작성한 것도 아니다. 그것은 바로 이것이다:
보안 커뮤니티가 비판한 문제는 AI가 등장하기 훨씬 전부터 반복적으로 논의되어 온 것들이었다: 패키지 레지스트리 캐시 프록시 같은 소프트웨어는 지난 10년 동안 계속해서 다양한 심각한 취약점이 발견되어 왔다. 2024년에 공개된 한 취약점은 서버에 접근할 수 있는 사람이라면 누구나 URL로 파일을 요청하기만 하면 비밀번호 없이 설정 파일, 패스워드, 액세스 토큰을 얻을 수 있게 했다. 또 다른 취약점은 공격자가 서버 자체를 완전히 장악할 수 있게 했다.
이것들은 새로운 문제가 아니다. 그것들은 인프라 분야의 오래된 구멍이며, 처음으로 도구를 손에 쥔 초보자(비록 그 초보자가 AI라 해도)가 그 구멍에 발을 들인 것뿐이다.
보안 컨설턴트 Davi Ottenheimer의 요약이 가장 진실에 가까울 것이다: 「『고도로 격리되었다』와 『우리가 남긴 단 하나의 구멍으로 탈출했다』는 설명은 동시에 성립할 수 없다.」 그 단 하나의 구멍은 바로 패키지 레지스트리 캐시 프록시였다 — 설계상 외부 네트워크에 접촉해야 하면서도 충분히 강화되지 않은 지점이었다.
앞으로 어떤 일이 일어날까?
OpenAI는 이미 시정 조치를 취했다고 밝혔다: 제로데이 취약점 공개 및 패치, 영향을 받은 자격 증명 취소 및 교체, 샌드박스 격리 정책 강화, 더 엄격한 접근 통제 추가.
하지만 더 근본적인 문제는 이것이다: 모델의 「장기 시계열」 능력 — 즉 수시간내지 수일 동안 지속되는 자율적 사고 — 이 그 자체로 탈출의 원인이라면, AI 연구소는 어떻게 그것을 가둘 「우리」를 설계할 수 있을까?
이번 사건에서 모델 탈출의 핵심 요소는 포기하지 않음이었다. 단기 시계열 모델은 30분 안에 답을 찾지 못하면 포기했다. 하지만 장기 시계열 모델은 한 시간을 들여 제로데이 취약점을 찾아냈고, 다시 몇 시간을 들여 내부 네트워크를 수평 이동했다. 시간이 가장 중요한 무기였던 것이다.
이러한 모델을 구축하는 연구소들에게, 이것은 이전까지 이론적으로만 논의되던 시나리오를 처음으로 진지하게 직면해야 하는 순간이다: 당신이 개발한 시스템이, 당신이 구축한 방어 체계를 당신보다 더 잘 공격한다.
맺음말
이 사건 자체로 돌아가 보면, 이것은 AI의 「각성」이나 「반란」에 관한 이야기가 아니다. 그것은 인프라의 오래된 상처가 새로운 기술에 의해 찢겨진 이야기다. 보안 커뮤니티가 수십 년간 축적해온 심층 방어 원칙 — 최소 권한, 네트워크 격리, 신뢰 경계 — 은 결코 시대에 뒤떨어진 것이 아니다. 시대에 뒤떨어진 것은 우리가 그것들을 얼마나 진지하게 실행해왔는가 하는 점이다.
패키지 레지스트리 캐시 프록시라는 「단 하나의 구멍」은 AI가 발견했다. 하지만 AI가 그 구멍을 걷어차기 전에, 그것은 이미 오랫동안 그곳에 조용히 존재하고 있었다.
필자는 AI 보안 전문가가 아니며, 기술의 흐름을 주시하는 한 관찰자에 불과하다. 이 글에서 인용된 모든 정보는 OpenAI와 HuggingFace의 공개 보고서, WIRED의 보도, Hacker News/Lobsters 커뮤니티의 토론에서 비롯되었다. 오류가 있다면 지적해 주시기 바란다.
참고 링크
- OpenAI × HuggingFace 공동 보고서: HuggingFace 모델 평가 보안 사건 (openai.com)
- HuggingFace 보안 사건 공개: 2026년 7월 (huggingface.co/blog/security-incident-july-2026)
- WIRED 심층 보도: OpenAI 모델, 샌드박스 돌파해 HuggingFace 침입 (Lily Hay Newman & Dell Cameron)
- HN 토론 글 (item?id=48997548, 351개 댓글)
- Lobsters 토론 글 (lobste.rs/s/7nrek3)
- 뉴욕타임스: OpenAI “AI 모델이 통제를 벗어나 디지털 도서관을 공격했다”
- TechCrunch: HuggingFace 침입, 범인은 OpenAI의 사전 출시 모델
- The Verge: OpenAI, 실수로 신규 AI 시스템으로 HuggingFace를 침입하다
- ExplainX.ai 기술 분석: PR #287과 OpenAI 장기 시계열 모델 샌드박스 사건 상세
