150万ページを擁するWebサイトで、過去1年間のアクセスの99%がボット——人間ではなく、AI企業が送り込んだクローラーだった。本物の人間からのアクセスはわずか1%。これはサイト管理者のNick氏が最近公開した記事『99% of My Website Traffic Is Bots』（私のWebサイトのトラフィックの99%はボットである）で明かした数字であり、技術コミュニティHacker Newsで300件以上の議論を呼んでいる。
さらに衝撃的なデータがある。ある1週間で、Anthropic（Claudeを開発するAI企業）の検索クローラーは、彼のサイトから42万ページものコンテンツを収集していった。しかし同じ週に、Claudeが彼のもとへ送り届けた人間の訪問者はわずか12人だった。42万ページの収集に対して12人の訪問者——これが「AI時代のWebサイト運営」の現実を象徴している。
Nick氏自身もネットで生計を立てている一人であり、彼のサイトは公開文書やアーカイブ情報を整理・提供することで成り立っている。彼は記事の中で「私のデータ自体、公開文書をスクレイピングして集めたものだ。クローラーを回している人間がクローラーに文句を言うなんて風刺的だと分かっている」と自虐的に語る。だが、その正直さこそが彼の訴えに重みを与えている。同業者ですら耐えかねているということは、事態が完全に一線を越えている証拠だ。
AIはなぜWebサイトを密かにクロールするのか
大規模言語モデル（LLM）は生まれつき知識を持っているわけではない。ChatGPTやClaudeといったAIが質問に答えられるのは、「学習」段階でインターネット上のほぼすべての文章を読み込んできたからだ。それらの文章はどこから来たのか？ クローラーがWebサイトから1ページずつ持ち去ったものだ。
クローラーはAI企業にとってのデジタルな「図書館搬入員」のようなものだ。ただし図書館で本を借りるには貸出手続きが必要だが、クローラーがコンテンツを持ち去るのに断りを入れる必要はない。Cloudflare（世界最大のWeb保護サービス）のデータによると、2026年6月時点で同社ネットワーク上の全Webリクエストの57.5%がAIクローラーによるものだった。つまり、ネットで適当なページを開いたとき、アクセス者の大半は人間ではないということだ。
Cloudflareは「クロール対還元比（Crawl-to-Click Ratio）」という指標も公表している。これはAIプラットフォームが何ページ収集して初めて1人の訪問者をWebサイトに還元するかを示す数値だ。Anthropicが最も極端で、2025年初頭には約28万ページ収集して訪問者1人、同年半ばに3.8万ページ対1人に改善したものの、依然として突出している。OpenAIは約1400ページ対1人、Perplexityは55ページから195ページ対1人に悪化した。しかも、これら収集されたページの大部分はモデルの学習用であり、AIクローラーのアクセス目的の80%がモデル学習、ユーザーがチャット画面で能動的にリンクをクリックして発生した訪問はわずか2%に過ぎない。
図：主要AIプラットフォームの「収集対還元比」比較。出典：Cloudflare公式ブログ
「紳士協定」ではルール無用者を防げない
Webサイトがスクレイピングを拒否したい場合、robots.txtというファイルに依存する。サイト運営者がドアに「立ち入り禁止」の張り紙を掲げ、検索エンジンやAI企業がそれを遵守することを前提とした仕組みだ。「前提」という言葉に注意したい。このプロトコルはWebの黎明期に誕生した「紳士協定」であり、警察も罰則も存在しない。守るかどうかは善意に委ねられている。
Nick氏はrobots.txtに詳細なルールを記述していた。どのコンテンツが検索インデックス用で、どれがAI学習禁止かを明記したのだ。だが結果はどうだったか？ Cloudflareが2025年に報告した通り、Perplexityは未申告のステルスクローラーを使用し、サイトのアクセス禁止指示を回避していた。さらに、ブラウザになりすますクローラーも横行している。「ボットが最新版macOSで動作しており、本物の人間よりもスムーズにアクセスしている」と揶揄する声すら上がった。Nick氏がCloudflareの非対話型Bot検証（人間に負担をかけない判定機能）を試した際も、クローラー群はあっさりと突破していき、彼自身を驚かせた。
図：用途別に分類されたAIクローラーのトラフィック。出典：Cloudflare公式ブログ
防御戦のコスト：跳ね上がる請求書、誤爆、終わらないいたちごっこ
ルールが機能しないとなれば、防御を強化するしかない。Nick氏のサイトの通常時のサーバー費用は月額約90ドルだったが、アクセスの最も激しい月には約500%も急増した。サーバーの帯域はクローラーに食い荒らされ、データベースは繰り返し過負荷でダウン。アクセス解析データは完全に使い物にならなくなった。「本物の人間が何を読んでいるかを知り、次の展開を考えたいのに、データがボットで埋め尽くされている。」
彼はクローラーの攻撃パターンも記録している。2025年11月、わずか数日間に4,000の「訪問者」が押し寄せた。全員が1ページだけ開いて即座に離脱（直帰率99%）、流入元サイトは無し、しかも人間の訪問者の10%しか見ない基金データページだけを狙い撃ちしていった。Nick氏は淡々と付け加える。「この4,000アクセスなんて、単なるウォーミングアップに過ぎなかった。」
コメント欄には、個人サイト運営者たちの悲惨な体験談が相次いだ。オランダのボート予約サイトを運営する人物は、AIクローラーがカレンダーの「翌月」ボタンを1日に数千回連打し続け、システムを麻痺させられたと語る。別の人物は、サイト公開前にボットによって百数十個の偽アカウントを登録され、毎日手動で100個削除する羽目になった。IPアドレスをブロックしても、クローラーは住宅用プロキシ（Residential IP）に切り替えてすぐに舞い戻ってくる。身分証を付け替えた配達員のようなものだ。IPブロックだけでは防ぎきれず、資金力に勝る「ネズミ」相手の終わらないいたちごっこが続く。
さらに深刻なのが「誤爆（誤検知）」だ。Nick氏のサイトはCAPTCHA（「あなたが人間であることを証明してください」というテスト）を導入したが、人間のユーザーにとってもストレスでしかない。VPNを使用しているユーザーは何度も検証を求められ、古いブラウザを使うユーザーは完全にアクセスを拒否される。「‘人間であることを確認中’という画面が出たら、すぐにタブを閉じる」というコメントもあった。ある読者は、2,000ドルの家電製品を購入しようと価格監視スクリプトを動かしたところ、ECサイトの反ボットシステムが過剰反応し、手動でアクセスしてもページが開けなくなったという。「もう二度とその店では買わない」と述べている。過剰な防御が本物の顧客を追い払うという、反ボット対策のもう一つの隠れた代償だ。
筆者自身も本記事の執筆中にこの事態に遭遇した。Nick氏の原文を開こうとしたところ、「申し訳ありません、あなたはブロックされました」という1行が表示され、ボット扱いされてしまったのだ。1年間戦い続けたサイト管理者が、最終的に自分の記事を読もうとする本物の人間までブロックしてしまう——これこそがHacker Newsで最も議論が白熱したテーマだった。
より大きな問題：誰がWebのアクセス権を決定するのか
Hacker Newsで最も多くの賛同を集めたコメントはこう指摘している。「『誰があなたのサイトを見られるか』の決定権をCloudflareのような大企業に外注することは、開放的なWebの境界線を一社に委ねることを意味する。彼らがボットだと判定すれば、あなたは訪問者ではなくなり、異議申し立てを行う場すら存在しない。」
一方で、反対の立場からの主張も根強い。「コンテンツを公開で配信している以上、読者がどんなツールを使って読むかを作者がコントロールすることはできない。作家が読者のページのめくり方に口出しできないのと同じだ」という意見だ。これに対し、「店舗を構えている人間が、万引き犯を店外へ追い出す権利すらないというのか？」と反論する声もある。さらに「本として出版してもAI企業に‘盗まれる’。紙の本ですら彼らを止められない」というブラックジョークも飛んだ。
単に奪われるだけでなく、検索からの訪問者すら途絶える
小規模サイトには、さらに見えにくい損失が存在する。検索エンジンからの流入が減少していることだ。Cloudflareがニュースサイト群のトラフィックを分析したところ、Googleからの訪問者は2025年2月以降明確に減少しており、3月は1月比で9%減、4月には15%減となった。この時期は、Googleが検索結果上に直接回答を表示し、リンク先への遷移を減らす「AI Overviews」を展開した時期と完全に一致する。以前なら疑問を検索したユーザーがサイトを訪れて原文を読んだが、今や検索結果画面で回答が完結してしまい、サイトがクリックされる機会すら失われている。
Nick氏は記事の中で素直な心境を吐露している。「GoogleやBingのような検索エンジンにはサイトをクロールしてほしい。新しい読者を連れてきてくれるからだ。だが、それ以外のプレイヤーにサイトを採掘場のように扱われ、コンテンツを根そこぎ持ち去られるのは御免だ。」問題は、技術的に「客を連れてくるボット」と「コンテンツを奪うボット」を区別できないことだ。どちらもボットであり、違いは動機にしかない。流入経路はAIに遮断され、コンテンツはAIに持ち去られ、サイトは両端から血を流している。
この「AI戦争」は一般ユーザーにどう影響するのか
この問題は、一般ユーザーにとっても決して他人事ではない。あなたが日々AIに質問したときの回答の質は、AIが「読み込んだ」コンテンツの質に依存している。もしWeb上のクリエイターたちが無断利用に嫌気がさして更新を止めてしまえば、AIが学ぶものは互いにコピーし合った質の低い古情報だけになってしまう。大手メディアであればAI企業とライセンス契約を結んで対価を得られるかもしれないが、一般的な小規模サイトは1円も受け取れず、跳ね上がったサーバー費用を自腹で払い続けるしかない。すでに一部のプラットフォームはAI企業を提訴する道を選び、多くのサイト運営者がログイン必須のウォール（囲い込み）の中にコンテンツを隠すことを検討している。
Cloudflareなどの企業は「従量課金制スクレイピング（Pay-per-crawl）」——AIがコンテンツを収集する際に対価を支払う仕組み——を提案している。この構想が実現するかどうかは未知数だが、問題の核心を浮き彫りにした。「AI時代において、コンテンツは無償で供給され続けるべきなのか？」という問いだ。
どちらかの立場を一方的に擁護するつもりはない。サイト運営者の視点に立てば、1年間タダ乗りされ、サーバー費用が5倍に跳ね上がれば誰だって腹が立つ。読者の視点に立てば、Web全体が検証コードやログイン壁で閉ざされた世界など望んでいない。ただ一つ確かなのは、「Webサイトは人間のために存在する」というこれまでの当たり前が、静かに書き換えられつつあるということだ。次にAIを使って豆知識を検索したとき、ふと考えてみてほしい。その回答は、誰にも対価を支払われていない小さなWebサイトから持ち去られたものかもしれない、と。
参考リンク：
- PatronView: 99% of My Website Traffic Is Bots
- HN 議論 (item?id=49211386)
- Cloudflare: The Crawl-to-Click Gap（AIクローラーと紹介トラフィックデータレポート）
- Cloudflare ブログ: From Googlebot to GPTBot（AIクローラーシェアの変化）
