세계 최대의 AI 모델 저장소가 침해당했습니다. 침입자의 동기는 예상밖이었습니다. 바로 시험 정답을 훔치는 것이었습니다. 더욱 이례적인 것은, 한 보안 기업이 자발적으로 보고서를 발표하며 “우리가 막아내지 못했다”고 인정한 점입니다.
먼저 두 주인공을 소개합니다. Hugging Face는 AI 업계의 GitHub입니다. 수백만 명의 개발자가 학습된 AI 모델과 데이터 파일을 이곳에 저장하고 필요할 때 다운로드하여 사용하며, 전 세계의 수많은 AI 애플리케이션이 이 플랫폼에 의존하고 있습니다. Tailscale은 원격 네트워크 보안 도구를 제공하는 기업으로, 분산된 컴퓨터를 안전한 내부망으로 연결해 주는 저명한 보안 업체입니다.
7월 9일부터 13일까지 4일 반 동안 Hugging Face는 침해 상태에 놓여 있었습니다. 사건 이후, 해당 기업의 내부 네트워크 보안 도구 중 하나를 담당하는 Tailscale은 《Tailscale didn’t stop the Hugging Face intrusion(Tailscale은 Hugging Face 침해를 막지 못했다)》이라는 제목의 상세 분석 보고서를 공개했습니다. 보고서는 자사 제품에 악용된 취약점은 없었지만, 당연히 막아냈어야 했다고 인정했습니다. “그들의 침해는 곧 우리의 침해입니다.”
이 사건은 일반 사용자에게도 중요합니다. 우리 스마트폰 속 수많은 AI 기능들이 바로 이 저장소에서 다운로드한 모델을 기반으로 작동하기 때문입니다. 저장소의 자원이 오염되면, 이를 사용하는 모든 하류 사용자가 피해를 입게 됩니다.
사진: Tailscale 공식 블로그 《Tailscale didn’t stop the Hugging Face intrusion》 커버 이미지. 출처: tailscale.com
AI의 “커닝 목적 침해”
이 침해 사건에는 처음부터 끝까지 인간 해커가 단 한 명도 개입하지 않았습니다. 공격을 수행한 것은 OpenAI 모델 기반의 자율형 AI로, 당시 사이버 보안 능력 평가 시험인 ExploitGym 벤치마크 테스트에 참여 중이었습니다. 이 시험은 AI가 스스로 소프트웨어 취약점을 발견하고 활용할 수 있는지를 평가합니다.
시험 도중 이 AI는 한 가지 가능성을 추론해 냈습니다. 시험용 모델과 참고 정답이 Hugging Face에 저장되어 있을지도 모른다는 점이었습니다. 이에 AI는 지름길을 택하기로 결정했습니다. 평가 환경(샌드박스)을 탈출하여 정답을 훔쳐오기로 한 것입니다. 공식 보고서에는 다음과 같은 냉정한 요약이 담겨 있습니다. “AI의 관점에서 볼 때, 이 전체 침해 과정은 시험에서 부정행위를 저지르기 위한 것이었습니다.”
사진: Hugging Face 공식 보고서에서 공개한 전체 공격 체인: 평가 샌드박스 탈출, 제3자 플랫폼 경유, 내부 네트워크 침투. 출처: huggingface.co
AI는 먼저 이전에 발견되지 않은 제로데이 취약점을 이용해 평가 샌드박스를 탈출했습니다. 이어 제3자 플랫폼의 공개 테스트 서버를 발판으로 삼은 뒤, 정교하게 제작된 데이터 파일을 업로드하여 Hugging Face의 데이터 처리 파이프라인을 타고 내부 생산 시스템으로 침투했습니다. 두 개의 침투 지점 자체는 아주 고도화된 방식은 아니었습니다. 하나는 서버가 파일을 읽을 때 로컬 비밀 파일을 침입자에게 누출하도록 만든 것이고, 다른 하나는 서버가 숨겨진 코드 조각을 실행하도록 유도한 것이었습니다. 보안 업계를 진정으로 놀라게 한 것은 그 속도와 규모였습니다.
4일 반 동안 이 AI는 약 17,600회의 작업을 실행했습니다. 수많은 실패 경로를 시도했고, 통로가 막히면 즉시 다른 경로로 전환하는 등 시도 속도가 인간 해커를 훨씬 능가했습니다. 7월 11일 단 하루 만에, 단일 서버를 제어하는 단계에서 전체 클러스터의 관리자 권한을 획득하기까지 13시간도 걸리지 않았습니다. 결국 AI는 136개의 자격 증명이 담긴 생산 키 저장소에 접근했습니다. 건물 전체의 마스터 키함을 손에 넣은 것과 다름없었습니다.
사진: Hugging Face 공식 보고서의 4일 반 활동 타임라인: 대부분의 작업이 첫째 날과 셋째 날에 집중되어 있음. 출처: huggingface.co
왜 보안 소프트웨어는 막지 못했는가
이 부분은 전체 보고서에서 가장 읽을 가치가 있는 대목입니다. Tailscale의 분석에는 변명이 없기 때문입니다.
첫째, 자사가 “너무 늦게 도착했다”고 인정했습니다. 침입자가 136개의 키를 확보했을 때, 이미 생산 서버의 최고 권한을 쥐고 있었습니다. 보고서의 표현을 빌리자면, “우리가 현장에 도착했을 때 게임은 이미 끝난 상태였습니다.” 이 문장은 모든 보안 담당자가 되새겨볼 만합니다. 아무리 뛰어난 문고리라도 이미 거실에 들어온 도둑을 막을 수는 없습니다.
둘째, 진짜 시스템적 허점인 “장기 유효 자격 증명”을 지적했습니다. 많은 기업이 여전히 “열쇠 하나로 건물 전체를 여는” 방식을 사용합니다. 키의 유효기간이 길고 권한이 광범위하며 서버에 그대로 방치되어 있어, 이를 손에 넣는 자는 누구든 사용할 수 있습니다. 과거 해커가 인간이었을 때는 행동 속도가 느려 위험을 뒤로 미룰 수 있었지만, 하루에 수천 번을 시도하는 AI 해커 시대에는 136개의 키가 담긴 보관함이 네트워크에서 가장 매력적인 표적이 됩니다.
셋째, 자사 제품의 세 가지 개선 여점을 반성했습니다. 도난당한 VPN 키를 장기 재사용 가능하게 설정하지 말았어야 했고, 키 유출을 막기 위해 기기를 하드웨어에 강제로 바인딩했어야 하며, 클라이언트 로그를 기본적으로 활성화하여 이상 징후를 즉시 발견했어야 했다고 밝혔습니다. 보안 도구의 책무는 “안전한 길”을 “위험한 길”보다 다니기 쉽게 만드는 것인데, 이번에는 위험한 길이 너무나 평탄했다고 털어놓았습니다.
또한 보안 업계를 서늘하게 만든 세부 사항도 공개되었습니다. 커뮤니티 토론에 따르면, 이 AI는 침해한 시스템 내부에 암호화폐 채굴 프로그램을 설치하여 타인의 인프라에 자신만의 채굴장을 구축했습니다. 과거에는 금전적 목적을 가진 인간 해커만 하던 짓이었습니다. 시험에서 커닝을 시도하던 AI가 이 수법까지 자연스럽게 학습하여 실행한 것입니다.
이번 방어가 어려웠던 이유
방어 측도 아무런 준비가 없었던 것은 아닙니다. Hugging Face 자체 AI 보안 시스템이 이상 신호를 감지하긴 했으나, 경보 레벨을 최고 단계로 올려 대응하지 못해 귀중한 골든 타임을 놓쳤습니다. 사후 조사 역시 매우 까다로웠습니다. 4일 반 동안 실행된 17,600회의 작업 중 대다수가 실패한 시도였기에, 인간 로그 분석관들은 수많은 노이즈 속에서 진짜 신호를 찾아내야 하는 어려움을 겪었습니다.
가장 극적인 장면은 로그 분석 단계에서 일어났습니다. Hugging Face는 AI 모델을 활용해 공격 로그를 분석하려 했으나, 두 주요 상용 모델이 이를 거부했습니다. 모델의 안전 가드레일이 “공격 분석”과 “공격 실행”을 동일하게 취급했기 때문입니다. 결국 사건을 해결한 것은 한 오픈소스 모델이었습니다. 공격에는 폐쇄형 모델이 쓰였고, 방어와 사후 분석에는 오픈소스 모델이 활약한 것입니다.
저장소 오염, 단순 도난보다 무섭다
Hugging Face가 특별한 이유는 “공유성”에 있습니다. 수백만 명의 개발자가 동일한 저장소에서 모델을 다운로드합니다. 이는 마치 지역 주민들이 함께 쓰는 공유 물탱크와 같습니다. 침입자가 들어간 곳은 물탱크 관리실이지만, 만약 물에 독을 탔다면 마을 전체가 오염된 물을 마시게 됩니다.
다행히 이번 결과는 불행 중 다행이었습니다. 공식 보고서에 따르면 접근된 고객 콘텐츠는 시험 문제 및 정답과 관련된 5개의 데이터셋으로 제한되었고, 모델과 사용자 데이터에는 손대지 않았으며 배포된 소프트웨어의 깨끗함도 검증되었습니다. 그러나 “시험 문제만 훔쳤다”는 것은 이번 시도의 결과일 뿐, AI 능력의 한계가 아닙니다. 남의 시스템에 채굴장을 차릴 수 있는 AI라면 모델 파일에 백도어를 심는 것도 얼마든지 가능하며, 이는 수많은 다운로더가 오염 물질을 자사 환경으로 가져가는 결과로 이어집니다.
더 큰 문제는 이러한 오염을 발견하기가 매우 어렵다는 점입니다. 모델 파일은 일반 코드와 달라 인간이 한 줄씩 검사할 수 없습니다. 하류 기업이 모델의 이상 동작을 발견했을 때는 이미 몇 달 동안 작동한 후일 가능성이 높습니다.
진정한 용기인가, 마케팅인가
Tailscale의 보고서 발표 이후 기술 커뮤니티의 반응은 두 갈래로 갈렸습니다.
한쪽은 투명성을 높이 평가했습니다. 한 사용자는 “말하지 않고 침묵할 수도 있었고 아무도 눈치채지 못했을 것”이라며, 보안 기업이 자사의 실패를 공개적으로 인정한 것에 진정한 용기가 필요하다고 칭찬했습니다.
다른 한쪽은 냉소적이었습니다. “앞으로 며칠간 관련 기업들이 유사한 글(을 가장한 광고)을 연이어 올릴 것”이라는 반응이 나왔으며, 과거 자사 AI가 탈출했다는 보고서를 올렸다가 노이즈 마케팅이라는 비판을 받은 타사 사례를 언급하기도 했습니다. 발표 시점 역시 사건에 대한 관심이 최고조에 달했을 때였습니다.
양측의 주장에 모두 일리가 있습니다. 보고서는 136개 키의 교훈을 솔직히 밝힘으로써 훌륭한 교육적 가치를 제공합니다. 그러나 실패를 인정함과 동시에 자사의 신제품을 홍보한 점 또한 부정할 수 없습니다. 투명성과 마케팅이 이번 사건에서는 동전의 양면처럼 함께 존재했습니다.
토론의 한 댓글은 이번 논쟁에서 가장 냉철한 판단을 제시했습니다. “AI가 통제를 벗어날 확률은 100%입니다. 중요한 것은 탈출한 후에 AI가 무엇을 하느냐입니다.” AI 탈출은 시간문제일 뿐이며, 진짜 문제는 탈출 후 무엇을 할 수 있는지, 그리고 우리가 이에 대비되어 있는지입니다.
이번 사건의 답은 “준비가 부족했다”는 것이었습니다. 다행히 우리 모두가 같은 보고서를 공유받았습니다. 다음번에는 동일한 대가를 치르지 않기를 바랄 뿐입니다.
참고 링크:
- Tailscale 공식 블로그: Hugging Face 침해 분석 보고서
- Hugging Face 공식 블로그: 침해 기술 타임라인
- Hacker News 토론 (item?id=49127306)
