2026 年 7 月 10 日，LWN 主编 Jonathan Corbet 发表了一篇题为《An update on the scraper situation》的文章，对持续升级的网站爬虫攻击形势做了最新分析。这篇文章在 Hacker News 上获得 206 分、201 条评论，在 Lobsters 上也引发热议。Corbet 的结论直白而冷峻：一年多过去了，问题非但没有缓解，反而在加剧。 爬虫与反爬虫的攻防正在重塑互联网的基础设施，而那些没有资源自保的独立网站正在被推向悬崖边缘。
住宅代理：披着合法外衣的僵尸网络
当前爬虫攻击最显著的特征是流量来源的极度分散。Corbet 描述了一幅典型的攻击画面：来自数百万个独立 IP 地址的协调请求在数小时内集中涌向目标站点，每个地址只访问两到三次。User-Agent 字段是伪造的，每次请求看起来都像是一个普通用户在用浏览器访问网页。但这些”用户”不会请求图片或 CSS——等网站识别出这一点时，那个 IP 地址已经不会再被使用了。基于 IP 的封禁在这种情况下毫无意义。
这些流量的来源被称为”住宅代理”（residential proxies）。普通用户的设备上被安装了受控软件，这些软件接受中央指令节点的调度，按需抓取网页并将数据回传。多数情况下，设备所有者对此毫不知情。 从技术原理上看，这与传统僵尸网络的运作方式没有本质区别，区别只在于话术包装。
住宅代理网络的运营者大致分两类。第一类是纯粹的犯罪团伙，通过恶意软件感染设备构建僵尸网络。2026 年初，Google 联合多方力量打击了名为 IPIDEA 的僵尸网络，并公布了其运作细节。Corbet 指出，IPIDEA 被关闭后，LWN 的爬虫流量出现了显著下降，平静了几个月——但好景不长，攻击很快卷土重来。7 月 2 日，Google 又联合 FBI 等机构打击了一个名为 NetNut 的住宅代理网络，再次带来了暂时的喘息。这种”打地鼠”式的执法节奏表明，每关闭一个网络，新的网络就会迅速填补空缺。
“合法”外衣下的灰色产业
第二类运营者则更为复杂。它们在表面上维持着某种合法性，声称提供”道德来源”的 IP 地址。Corbet 以 Bright Data 为例进行了剖析：这家公司提供”免费”VPN 服务，用户同意让 Bright Data 通过自己的设备路由流量——本质上就是把自己的设备变成了住宅代理网络的一个节点。此外，还有大量公司将代理 SDK 嵌入各类应用程序，开发者通过劫持用户网络连接来获取报酬。
更具讽刺意味的是，Corbet 透露其中一家公司居然向 LWN 询问能否在其网站上投放 SDK 广告。他用一句话概括了那次交流的结果：“这是一次很短的对话。”
这些运营者手中的能力远超网页抓取的范畴。 它们拥有在数百万台设备所连接的任何网络中运行代码的能力。认为这种级别的访问权限只会被用于抓取网页，至少是过于天真了。
谁在为这些攻击买单？
大型 AI 模型公司——OpenAI、Google、Anthropic 等——使用明确标识的爬虫，并大体遵守 robots.txt 规则。它们也会反复抓取整个网站，仿佛认为 2003 年的文章在过去一天里又发生了变化，但它们不会通过数百万台设备同时发起攻击，因而不是最大的问题。
真正的问题在于：没有人知道是谁在使用住宅代理网络来攻击网站。 Corbet 坦承，目前没有证据表明前沿模型公司在使用这些网络，但如果某一天证明它们在用，“全球震惊程度的提升将几乎可以忽略不计”。这些公司在获取训练数据的方式上并不透明，在尊重内容创作者方面也没有建立起信用。
比公开模型更令人担忧的，是数量庞大的隐秘模型项目。各国政府机构、大型犯罪组织——它们同样需要训练数据，同样在寻找一切可能的来源。Corbet 将这场竞赛定性为军备竞赛，这或许不算夸张。
防御手段及其代价
网站运营者在防御爬虫攻击时面临着经典的军备竞赛困境。Anubis 是目前广泛部署的一种防御工具，它要求访问者完成工作量证明（Proof of Work）来验证自己是人类。其他网站使用商业服务（通常表现为”证明你是人类”的按钮），或者强制用户选择包含特定物体的图片、完成拼图。还有网站选择将内容隐藏在登录墙或付费墙之后，或者用 iocaine 等工具向爬虫投喂污染数据。
LWN 采取了更为克制的策略：尽量降低对真实读者的影响，不采用 Anubis（部分因为它会造成延迟，部分因为爬虫迟早会绕过它）。当攻击者拥有数百万台他人设备可供调用时，工作量证明的威慑力相当有限。 Corbet 还提到，LWN 在攻击高峰期间的响应速度有时反而比平静期更快，因为优化和防御措施在攻击时才被激活。
但防御是有代价的。Corbet 将爬虫及其资助者造成的所有影响称为”加诸世界整体之上的沉重税负”。无论是网站运营者部署和维护防御机制的成本，还是用户面对验证码和加载延迟的体验损失，最终都由整个互联网生态系统承担。
Cloudflare 的中间层角色
在这场战争中，Cloudflare 正试图将自己定位为中间调停者。2026 年 7 月 1 日，Cloudflare 宣布从 9 月 15 日起，将默认屏蔽”混合用途”爬虫（同时用于搜索、AI 训练和智能体功能）对展示广告页面的访问。新域名、新客户和现有免费客户都将适用这一新默认设置。
这项政策背后有一个关键变化：互联网上的非人类流量首次超过了人类流量。 Cloudflare CEO Matthew Prince 在声明中指出，这一拐点比预期提前了一年到来。
Cloudflare 还将其”Pay Per Crawl”机制升级为”Pay Per Use”，允许发布者在内容产生价值时向 AI 公司收费，而不仅是在内容被抓取时。根据 Cloudflare 的数据，超过 50% 的 AI 爬虫流量是在重复抓取未发生变化的页面。从工程角度看，这意味着大量计算和带宽资源被纯粹的浪费所消耗——一个可以优化但缺乏激励机制去优化的负外部性。
开放互联网的附带损伤
这场战争最大的受害者可能是那些既非爬虫也非大型网站的中小参与者和基础设施。防御爬虫的措施往往不分青红皂白地影响所有自动化请求。
在 Lobsters 讨论中，用户 vbernat 指出了一个被忽视的受害者——链接检查器。当每个网站都在部署反爬虫防御时，检查自己网站的失效链接变成了一项困难的任务。另一位用户提到即时通讯应用中的链接预览功能同样遭遇了挫折，生成预览的请求频繁撞上”验证你是人类”的拦截页面。
一个更系统性的担忧是，反爬虫措施正在助推互联网的围墙花园化。如 Lobsters 用户 ecksdee 所言，最终的结局可能是：所有涉及昂贵操作的功能（比如 GitHub 仓库历史列表）都将被隐藏在认证墙之后，其余内容全部静态化并交由 CDN 分发。这一趋势如果持续，开放互联网将蜕变为少数大型平台之间的封闭交换网络。
也有人试图为住宅代理寻找合理用途。规避审查、访问基于地理位置限制的内容，这些都是住宅代理能被构想的合法场景。但这些用例在规模上根本无法与 AI 训练数据抓取的流量相比。而将住宅代理网络定性为非法，也可能波及 Tor 出口节点等真正服务于隐私保护的工具——这提醒人们，一刀切的法律解决方案可能带来意想不到的后果。
没有终点的战争
Corbet 在文章结尾表达了一种无奈但坚定的态度。驱动这场攻击的产业似乎对将独立网站炸成冒烟的弹坑毫不在意。在监管真正落地之前，网站运营者没有选择，只能继续自卫。
LWN 评论功能在爬虫高负载期间对匿名用户关闭，这一细节本身就构成了一个隐喻：当防御成为生存的必要条件，开放就不再是默认状态。
参考链接：
- https://lwn.net/SubscriberLink/1080822/990a8a5e2d379085/
- https://lobste.rs/s/kpaxih
- https://news.ycombinator.com/item?id=48864252
本文的素材来自公开信息和社区讨论。如果你对这个话题有更深入的一手经验，欢迎指出文中的不足。