每天约 600 万次请求，正在疯狂涌入 Linux 内核的官方源码仓库（git.kernel.org）。在最乐观的统计模型下，这些访问里真实的合法人类请求仅占 2%。剩下的 98%，全是试图吞噬每一行代码来训练大语言模型的 AI 爬虫。
不知疲倦的算力吞噬者
这片由 5 个地理分布式节点、90 个 CPU 核心组成的官网集群，正承受着难以名状的非对称负载。其中 14 到 16 个核心永远处于满负荷运转状态，它们唯一的任务就是给爬虫渲染代码提交（commit）的页面。这直接吃掉了整个系统 20% 的算力容量，而且爬虫总是以波次发起进攻，让真实的瞬时峰值更加锐利。
爬虫的贪婪程度超乎常规工程认知。Linux 内核大约拥有 148 万次代码提交记录，而官网上存在约 922 个开发者分支版本（fork），这交织出了数十亿个有效的可访问链接。AI 爬虫会机械地遍历每一个链接，把完全相同的 922 份重复内容各自抓取一遍。这说明如今的训练数据获取已经抛弃了去重等工程优化，直接演变成了用最粗暴的穷举法淹没目标服务器的算力碾压。
纸糊的算力防线
为了阻挡这种毫无节制的暴力抓取，Linux 内核官网部署了一套名为 Anubis 的反爬系统。这是一道基于工作量证明（PoW）的加密学数学题：要求访问者的设备将一个给定字符串，与自身 IP 地址和服务端动态密钥组合，然后持续计算其 SHA-256 哈希值，直到结果的前 N 位全为零。
目前，Anubis 成功挡下了 66% 的低级扫描程序，但仍有 33% 的高阶机器解出了数学题并顺利进入主站。
图：git.kernel.org 请求漏斗：66% 被挡、33% 通过、合法仅 2%。来源：people.kernel.org
面对步步紧逼的 33% 高级爬虫，防御方唯一的手段是将哈希计算的难度从 4 级上调至 5 级。但这套防线的核心机制存在致命弱点——它要求使用浏览器里的 JavaScript 脚本消耗机器算力。用高阶解释型语言来执行密集的哈希计算，本身就是一种效率极低且防守极为不对称的对抗方式。
硬件指令的降维打击
这道数学题对真正的 AI 爬虫到底有多大阻碍？在 Hacker News 的技术讨论区，一位名为 semiquaver 的开发者给出了毁灭性的技术实证。
他仅花了 10 分钟编写了一个定制版的 Safari 浏览器扩展。通过调用 ARM 架构特有的 SHA256H* 原生硬件加速指令，并使用 C 语言重写了核心解题逻辑，他将难度 6 级别的数学题破解速度，从 iPhone 原本需要的 180 秒直接压榨到了毫秒级别。这说明在专用硬件指令集面前，纯软件层面的防御机制不堪一击。当攻击者可以绕过低效的浏览器沙盒，直接调用底层硬件算力时，防御方精心设计的延时机制瞬间荡然无存。
图：Anubis 难度逐级上调与机器人跟进的痛苦曲线。来源：people.kernel.org
军备竞赛的系统性失控
与此同时，攻击方的战术也在发生质变。从最初老老实实报告真实身份的请求头（UA），演变到全面伪装成普通消费级浏览器。如今更是演化出了劫持数百万个家庭宽带和移动网络 IP 进行轮换的高级战术。通过各种隐蔽的代理 SDK 变现工具，很多普通用户的智能电视，甚至都在不知不觉中成为了帮别人爬取数据的僵尸网络节点。
有开发者在讨论中反驳称，只要不使用极端难度的挑战，正常设备的 JavaScript 引擎花 8 秒钟也能解题。他们认为从 180 秒到毫秒的巨大鸿沟，仅仅是 JavaScript 引擎与原生 C 语言之间三个数量级的执行效率差异导致的。
但这正是防御方的尴尬所在。爬虫可以肆无忌惮地动用原生语言、服务器集群甚至底层硬件，而真实用户却只能被困在浏览器缓慢的执行环境中。防御者凭什么假设长期优势在自己这边？
让机器付出计算代价的反爬设计，在专用硬件与原生代码面前已经彻底失效。机器执行计算任务的速度，永远比人类使用的普通终端快上几个数量级。Linux 内核维护者 Konstantin Ryabitsev 最终无奈承认目前没有简单的技术解法，只能通过关闭部分查询功能来减少可被抓取的链接。Anubis 反爬方案的溃败意味着：在 AI 爬虫与网站防御的算力军备竞赛中，防御方正在面临系统性失守。当算力门槛被硬件降维打击时，复杂的验证码唯一能拦住的，只剩下那些试图安静阅读代码的真人。笔者认为，面对这场不断升级的军备竞赛，任何防守策略都可能被下一秒的算力突破瓦解，我们对未来走势的判断仍需保持谦逊。
参考链接：
- people.kernel.org 原文报道
- HN 社区技术讨论
