150만 개 페이지를 보유한 웹사이트에서 지난 1년 동안 발생한 방문의 99%가 보트였습니다. 사람이 아니라 AI 기업들이 보낸 크롤러였습니다. 실제 사람 방문자는 겨우 1%에 불과했습니다. 이는 사이트 운영자인 닉(Nick)이 최근 작성한 《99% of My Website Traffic Is Bots》(내 웹사이트 트래픽의 99%는 보트다)라는 글에서 밝힌 수치로, 기술 커뮤니티 해커뉴스(Hacker News)에서 300개가 넘는 댓글 토론을 불러일으켰습니다.
더 놀라운 데이터를 살펴보겠습니다. 어느 한 주 동안 Claude를 개발하는 AI 기업 Anthropic의 검색 크롤러는 그의 웹사이트에서 42만 개의 페이지를 긁어갔습니다. 하지만 같은 주 동안 Claude가 그에게 되돌려준 실제 사람 방문자는 겨우 12명이었습니다. 42만 페이지를 가져가고 12명의 방문자를 보내주는 것, 이것이 바로 ‘AI 시대 웹사이트 비즈니스’의 단면입니다.
닉 역시 인터넷으로 생계를 유지하는 사람으로, 그의 웹사이트는 공개 기록 정보를 정리해 제공하는 일을 합니다. 그는 글에서 자조적으로 털어놓았습니다. “내 데이터도 원래 공개 문서들을 크롤링해서 모은 것입니다. 크롤러를 운영하는 사람이 크롤러에 대해 불평하는 것이 얼마나 풍자적으로 들릴지 잘 알고 있습니다.” 이 솔직함은 그의 불만에 더욱 무게를 실어줍니다. 동종 업계 사람조차 견디지 못한다는 것은 상황이 선을 넘었다는 뜻이기 때문입니다.
AI 크롤러는 왜 당신의 웹사이트를 몰래 긁어가는가
대형 언어 모델(LLM)이 처음부터 지식을 갖고 태어난 것은 아닙니다. ChatGPT나 Claude 같은 AI가 질문에 답변할 수 있는 이유는 ‘학습’ 단계에서 인터넷상의 거의 모든 글을 읽어들였기 때문입니다. 이 글들은 어디서 왔을까요? 바로 크롤러가 웹사이트에서 한 페이지씩 가져간 것입니다.
크롤러는 AI 기업의 디지털 도서관 운반원에 해당합니다. 차이점이 있다면 도서관에서 책을 빌릴 때는 대출 절차를 거치지만, 크롤러가 콘텐츠를 가져갈 때는 아무런 인사나 허락이 필요 없다는 점입니다. 세계 최대 웹 보안 및 인프라 서비스 기업인 클라우드플레어(Cloudflare)의 데이터에 따르면, 2026년 6월 기준 자사 네트워크 전체 웹 요청의 57.5%가 AI 크롤러에서 발생했습니다. 인터넷에서 임의의 웹페이지를 열었을 때 방문자의 절반 이상이 사람이 아니라는 뜻입니다.
클라우드플레어는 ‘크롤링 대비 방문자 환원 비율(Crawl-to-Click Ratio)‘도 공개했습니다. 한 플랫폼이 몇 페이지를 긁어가야 실제 방문자 1명을 보내주는지 나타내는 수치입니다. Anthropic이 가장 극심했는데, 2025년 초에는 약 28만 페이지당 1명의 방문자를 보내주었고, 연중에는 3.8만 페이지당 1명으로 줄어들었지만 여전히 압도적이었습니다. OpenAI는 약 1,400페이지당 1명, Perplexity는 55페이지에서 195페이지당 1명으로 악화되었습니다. 긁어간 페이지의 대다수는 모델 학습용으로 쓰입니다. AI 크롤링 트래픽의 80%는 모델 학습 목적이며, 사용자가 대화창에서 직접 링크를 클릭해 발생한 유입은 2%에 불과합니다.
그림: 주요 AI 플랫폼의 ‘크롤링 대비 방문자 환원 비율’ 비교. 출처: Cloudflare 공식 블로그
신사협정으로는 규칙을 무시하는 이들을 막을 수 없다
웹사이트가 수집을 거부할 때 사용하는 것이 robots.txt라는 파일입니다. 사이트 주인이 입구에 ‘출입 금지’ 표지판을 붙여두면 검색엔진과 AI 기업이 이를 준수할 것이라는 전제하에 작동합니다. 여기서 ‘전제’라는 단어에 주목해야 합니다. 이 규약은 인터넷 초기에 탄생한 신사협정으로, 경찰도 없고 처벌 규정도 없습니다. 지키는 것은 호의이고, 무시하는 것은 자유인 셈입니다.
닉은 안내문 조항을 세부적으로 작성했습니다. 어떤 콘텐츠는 검색용으로 허용하고, 어떤 콘텐츠는 AI 학습용으로 금지하는지 명시했습니다. 결과는 어땠을까요? 클라우드플레어가 2025년에 보고한 바에 의하면, Perplexity는 신고되지 않은 스텔스 크롤러를 사용해 사이트의 크롤링 금지 지침을 우회했습니다. 심지어 브라우저로 위장하는 크롤러도 등장했습니다. 한 네티즌은 보트가 ‘최신 macOS’ 환경에서 작동하며 실제 사람보다 더 원활하게 접속한다고 비꼬았습니다. 닉이 클라우드플레어의 비상호작용 보트 검증(사람을 방해하지 않는 보트 감지 기술)을 시험해 보았지만, 크롤러들은 이를 유유히 통과해 그 자신도 놀랐습니다.
그림: 용도별로 분류된 AI 크롤러 트래픽. 출처: Cloudflare 공식 블로그
방어전의 대가: 서버 비용 폭등, 오탐, 그리고 끝없는 숨바꼭질
규칙이 통하지 않으면 방어를 강화할 수밖에 없습니다. 닉의 웹사이트는 평소 월 서버 비용이 약 90달러 수준이었으나, 크롤링이 가장 심했던 달에는 약 500% 폭등했습니다. 서버 트래픽은 크롤러가 전부 소모해 버렸고, 데이터베이스는 반복해서 다운되었으며, 방문자 통계는 완전히 왜곡되었습니다. “실제 사람들이 무엇을 읽는지 알아야 다음 단계를 결정할 텐데, 통계 데이터가 온통 보트로 가득 찼습니다.”
그는 크롤러의 공격 패턴도 기록했습니다. 2025년 11월, 며칠 사이에 4,000명의 ‘방문자’가 몰려왔습니다. 각자 한 페이지만 열고 바로 떠났으며(이탈률 99%), 유입 출처 사이트가 없었고, 실제 방문자의 10%만 찾는 펀드 데이터 페이지를 집중적으로 노렸습니다. 그는 글에서 무덤덤하게 덧붙였습니다. “이 4,000명은 단지 준비운동에 불과했습니다.”
댓글 창에는 소형 사이트 운영자들의 기이한 경험담이 이어졌습니다. 네덜란드 보트 예약 사이트를 운영하는 한 사람은 AI 크롤러가 달력의 ‘다음 달’ 버튼을 하루에 수천 번씩 클릭해 날짜 기능을 마비시켰다고 털어놓았습니다. 다른 사람은 사이트 오픈 전에 보트가 수백 개의 가짜 계정을 생성해 매일 수동으로 100개씩 삭제해야 했습니다. IP를 차단하면 크롤러는 즉시 주거용 프로시(Residential IP)로 교체해 돌아왔습니다. 마치 신분증을 바꾼 배달원 같았습니다. IP 차단만으로는 끝이 없으며, 돈이 더 많은 쥐를 상대하는 숨바꼭질 게임이 계속되고 있습니다.
더 큰 문제는 억울한 피해(오탐)입니다. 닉의 사이트는 캡차(CAPTCHA, 사람임을 증명하는 테스트)를 도입했지만, 실제 사용자 역시 이를 매우 싫어합니다. VPN을 사용하는 사람은 반복되는 검증을 거쳐야 하고, 오래된 브라우저를 사용하는 사람은 아예 접속이 거부됩니다. 한 독자는 “‘사람인지 확인 중입니다’라는 화면이 나오면 그냥 탭을 닫아버린다”고 댓글을 남겼습니다. 다른 독자는 2,000달러짜리 가전제품을 구매하려고 스크립트로 가격을 모니터링하다가 판매자의 과도한 방어 시스템 때문에 직접 브라우저를 열어도 페이지가 로딩되지 않았다며, “다시는 그 가게에서 물건을 사지 않을 것”이라고 말했습니다. 과도한 방어가 진짜 구매자를 쫓아내는 셈이며, 이는 방어 시스템의 또 다른 숨은 대가입니다.
필자 역시 이 글을 쓰면서 동일한 경험을 했습니다. 닉의 원문을 열려고 하자 화면에 “죄송합니다, 차단되었습니다”라는 문구가 뜨며 사람인 필자를 보트로 판단했습니다. 사이트 운영자가 1년 동안 전쟁을 치른 결과, 정작 그의 글을 읽으려는 실제 사람 방문자까지 들어가지 못하게 된 것입니다. 이것이 바로 해커뉴스 댓글 창에서 가장 뜨겁게 논쟁이 벌어진 주제였습니다.
더 큰 문제: 누가 웹 접근권을 결정하는가
해커뉴스에서 가장 많은 추천을 받은 댓글은 다음과 같이 지적했습니다. “‘누가 당신의 사이트를 볼 수 있는가’에 대한 결정권을 클라우드플레어 같은 대기업에 외주를 주는 것은, 단 하나의 기업이 개방된 웹의 경계를 결정하도록 방치하는 것과 같다. 그들이 당신을 보트로 판단하면 당신은 방문자가 아니게 되며, 이의를 제기할 수 있는 창구조차 존재하지 않는다.”
반대 목소리 역시 팽팽합니다. 어떤 이들은 “콘텐츠를 공개적으로 게시했다면 누구나 읽을 수 있어야 하며, 작가가 독자가 어떤 도구를 사용해 읽는지 통제할 수 없는 것과 같다”고 주장합니다. 이에 대해 “가게를 운영하는 사람이 좀도둑을 쫓아낼 권리조차 없다는 말인가?”라고 반박하는 이도 있습니다. 한 네티즌은 블랙 유머를 덧붙였습니다. “책으로 출판해도 AI 기업들은 어차피 ‘훔쳐간다’. 종이책으로도 그들을 막을 수는 없다.”
스크래핑을 넘어, 이제 기존 검색 유입마저 끊어지고 있다
소형 웹사이트에는 더 은밀한 손실이 존재합니다. 검색엔진이 더 이상 방문자를 보내주지 않는다는 점입니다. 클라우드플레어가 뉴스 사이트들의 트래픽을 분석한 결과, Google을 통한 방문자 수가 2025년 2월부터 명확하게 감소하기 시작했습니다. 3월은 1월 대비 9% 감소했고, 4월에는 15% 감소했습니다. 이 시점은 Google이 검색 결과 페이지에 직접 답변을 생성하고 링크 클릭을 줄이는 ‘AI 개요(AI Overviews)‘를 본격 도입한 시기와 정확히 일치합니다. 예전에는 질문을 검색하면 사이트로 들어와 원문을 읽었지만, 이제는 답변이 검색 페이지에 바로 표시되어 사이트가 클릭될 기회조차 얻지 못합니다.
닉은 글에서 솔직한 심정을 밝혔습니다. “Google이나 Bing 같은 검색엔진은 내 사이트를 크롤링하길 바랍니다. 새로운 독자를 데려다주기 때문입니다. 하지만 다른 모든 이들이 내 사이트를 광산처럼 취급하며 가져가는 것은 원치 않습니다.” 문제는 기술적으로 방문자를 보내주는 보트와 콘텐츠를 가져가는 보트를 구별할 수 없다는 점입니다. 둘 다 보트이며 동기만 다를 뿐입니다. 유입 경로는 AI에 의해 차단되고, 콘텐츠는 AI에 의해 퍼가면서 양쪽 모두에서 피를 흘리고 있습니다.
이 전쟁이 일반 사용자에게 의미하는 바
이 문제는 일반 사용자에게도 생각보다 큰 영향을 미칩니다. 당신이 매일 AI에게 묻는 질문의 답변 품질은 AI가 ‘읽은’ 콘텐츠의 질에 달려 있습니다. 만약 웹상의 모든 창작자가 무단 퍼가기에 지쳐 업데이트를 중단한다면, AI가 배우는 것은 서로 복사한 오래된 정보뿐일 것입니다. 대형 플랫폼은 AI 기업과 라이센스 계약을 맺고 대가를 받을 수 있겠지만, 일반 소형 웹사이트는 단 한 푼도 받지 못하면서 폭등한 서버 비용을 자비로 부담해야 합니다. 이미 일부 플랫폼은 AI 기업을 상대로 소송을 제기했고, 더 많은 이들이 사이트를 로그인 장벽 뒤로 숨기는 방안을 고민하고 있습니다.
클라우드플레어 같은 기업들은 ‘건당 유료 크롤링(Pay-per-crawl)’ 방식을 추진하고 있습니다. AI가 콘텐츠를 가져가려면 먼저 돈을 내라는 개념입니다. 이 아이디어가 실현될 수 있을지는 미지수지만, AI 시대의 콘텐츠를 과연 무상으로 제공해야 하는가라는 본질적인 문제를 수면 위로 끌어올렸습니다.
필자는 어느 한쪽 편을 들려는 것이 아닙니다. 사이트 운영자 입장에서 1년 동안 무단 사용을 당하고 서버 비용이 5배로 튀어오르면 누구라도 분통이 터질 것입니다. 사용자 입장에서 웹 전체가 검증 코드와 로그인 장벽으로 갇히는 세상 역시 바라는 바가 아닙니다. 한 가지 분명한 것은 ‘웹사이트는 사람을 위해 존재한다’는 기존의 기본 설정이 조용히 재작성되고 있다는 사실입니다. 다음에 AI로 지식을 검색할 때, 그 답변이 과연 아무런 대가도 받지 못한 어떤 작은 웹사이트에서 퍼온 것은 아닌지 한번쯤 생각해 볼 필요가 있습니다.
참고 링크:
- PatronView: 99% of My Website Traffic Is Bots
- HN 토론 (item?id=49211386)
- Cloudflare: The Crawl-to-Click Gap (AI 크롤러와 유입 트래픽 데이터 보고서)
- Cloudflare 블로그: From Googlebot to GPTBot (AI 크롤러 점유율 변화)
