悬赏20万美元,谁能搬空Google书库?
2026年7月4日,Anna’s Archive 在其 GitLab 工单系统里贴出了一条 Issue。标题平淡无奇——“Google Books (or similar) all book scans — $200,000 bounty”。内容只有四段英文,不到两百个单词。
但这可能是影子图书馆运动近十年来最大胆的动作。
悬赏标的很明确:Google Books 的全部扫描数据。据估计,这个数据库包含 2500 万到 4000 万册图书的完整扫描图像,总计可能超过 1 PB。Google 从 2004 年开始扫描,二十年间动用了数十家合作图书馆的馆藏,建成了人类历史上最大的书籍数字副本集群。然后,它把门锁上了。
今天你打开 books.google.com,能看到的是搜索结果的片段——通常一页的三行文字,夹在”购买本书”和”查找图书馆”的按钮之间。完整的扫描页躺在某个数据中心的硬盘上,无人翻阅。
谁在悬赏,悬赏什么
Anna’s Archive 是一个开源影子图书馆搜索引擎,2022 年 Z-Library 被执法部门打击后由化名”Anna”的开发者创建。它本身不直接托管文件,而是聚合 Z-Library、Library Genesis、Sci-Hub 等多个来源的索引。截至 2026 年 5 月,收录超过 6400 万册图书和 9500 万篇论文,总数据量约 1.1 PB。
它的运作模式相当透明:代码开源在自建 GitLab 上,数据集通过 BitTorrent 分发,资金来自会员费和捐赠。赏金系统是其志愿者计划的延伸——从 50 美元的小额任务到六位数的重金悬赏,按难度和影响力分级。
这次的 20 万美元是其公开悬赏的最高额。悬赏页面措辞值得细读:
“如果你找到了一种你认为可以规模化运行的方法,请尽早带着原型联系我们。”
“如果你在 Google 工作并能访问这些数据——我们知道 20 万美元对你来说不算什么——但如果你能把数据带出来,你会被尊为传奇档案管理员。”
后一句话把玩味拉满。这是一封写给 Google 内部员工的公开信,不是技术挑战公告。笔者查阅了 Anna’s Archive 的过往赏金记录——此前有 ISBN 可视化($10,000)、特定稀有馆藏征集($500-$5,000)等,但从未有过如此直接的”内部人士招募”措辞。
这笔悬赏同时适用于”其他类似规模的馆藏”,特别点名了 AI 公司收集的训练数据集,“尤其是那些显著收录了稀有图书的”。
Google 的书库:一座被锁住的亚历山大图书馆
要理解这个悬赏的分量,需要回溯 Google Books 项目的完整轨迹。
2004 年,Google 在法兰克福书展上宣布 Google Print(后改名 Google Books),野心直白——“扫描世界上所有的书”。当时 Google 估算全球约有 1.3 亿个独特书名。它同时推进两条路径:出版商合作计划让出版社主动提交书目,图书馆计划则与哈佛、斯坦福、牛津、密歇根大学、纽约公共图书馆等机构合作,直接扫描馆藏。
到 2019 年 10 月,Google 官方宣布已扫描超过 4000 万册书,覆盖 500 多种语言。这是人类有史以来规模最大的书籍数字化工程,没有之一。
然后项目几乎停止了。
2005 年,美国作家协会和出版商协会先后起诉 Google,指控其未经许可扫描受版权保护的图书构成侵权。这场诉讼打了整整十年。2015 年 10 月,美国第二巡回上诉法院作出终审判决:Google Books 的扫描和片段展示属于”合理使用”(fair use)。
Google 赢了官司。但它输了项目。
判决允许 Google 继续扫描,但严格限制展示范围为”片段”——通常是搜索结果命中的几行。整个数据库变成了一个只能通过钥匙孔窥视的仓库。投入巨大,商业产出受限,Google 没有动力继续高速扫描。速度从高峰期的每年数百万册骤降至爬行级别。
2011 年一项针对 Google Books OCR 质量的研究发现,文本识别存在大量系统性问题——错误的元数据、混乱的出版日期、被截断的页面。数据量大,不等于数据质量好。但这些瑕疵恰好是 Google 不公开发布完整数据的附加理由:一旦公开,人们会放大这些缺陷,而不是称赞它的规模。
为什么 Google 不公开数据
公平地说,Google 不公开完整数据集有多层正当理由。
第一层是法律风险。2015 年的合理使用判决保护的是 Google 的扫描和片段展示行为,不是对整个数据库的公开分发。如果 Google 把数千万册书的完整扫描件放出来,绝大多数仍受版权保护,它将在全球范围内面临出版商和作者的诉讼——美国的合理使用抗辩在欧盟、日本等司法管辖区未必成立。
第二层是与图书馆合作伙伴的协议。密歇根大学等机构签订了数据回传条款,获得了自己馆藏的副本用于 HathiTrust 数字图书馆。但并非所有合作方都有这类安排。单方面发布将违反合同。
第三层是商业护城河。Google Books 的全文搜索能力是 Google 搜索生态中独特的内容资产。把底层数据开源等于放弃这一优势。更何况 Google Play Books 商店、广告网络都与出版业有利益交织,释放数据等于在这些关系上投炸弹。
第四层更微妙——出版行业的长期博弈。2011 年,一项拟议的和解协议差点让 Google 获得对孤儿作品的特殊授权,但被法院以”过于宽泛”为由驳回。此后十年,出版业对 Google 的信任建立在”你们不会再越界”的默契上。公开数据会摧毁这个默契。
公共知识获取的另一面
但反方的论证同样有力。
Google 扫描的不只是受版权保护的在售新书。数千万册扫描中,大量是绝版书和”孤儿作品”——版权所有者无法找到或确认的作品。这些书没有人在卖,没有人会因它们被阅读而损失收入。它们只是安静地腐烂在图书馆书架上,直到 Google 把它们数字化,然后又锁回了数字地窖。
2023 年,加州大学伯克利分校和东北大学商学院的一项研究发现,Google Books 的数字化反而增加了实体书的销量——这与出版业最初”数字化会摧毁销售”的担忧恰好相反。数据被看到时创造了需求,被隐藏时消灭了需求。
HathiTrust 数字图书馆提供了部分出路。这个由学术图书馆联盟运营的项目获得了部分 Google 扫描副本,允许对公共领域作品全文访问。但它只覆盖了 Google 数据的一小部分,且多数限于参与机构的用户。
在 HN 讨论中(该帖获得 415 分、225 条评论),最受触动的发言来自生活在图书获取受限国家的读者。用户 ahmedfromtunis 写道:“我生活在一个英文书籍选择极其有限的国家。从海外网购有无数的行政障碍和限额。如果没有 Anna’s Archive 和 Z-Library,我永远无法读到塑造我今天的那些书。”
这条评论同时引来了尖锐反驳。用户 zerobees 回应:“有人在违反开源许可证时我们拔草叉,有人盗版书籍时却觉得完全 OK。好书的写作难度远超好软件。影子图书馆的规模让人震惊和沮丧,大部分下载行为与任何严肃的道德立场无关——只是’lol,能免费下载为什么要付钱’。”
两种声音在同一个帖子里共存,各自获得了大量支持。这是这场争议最真实的切面——它不是一个有正确答案的问题。
技术可行性:四条路径,都不好走
从纯工程角度,获取 Google Books 完整数据有几条理论路径,每条都面临硬瓶颈。
路径一:内部泄露。 悬赏页面最直白的暗示。Google 内部有权限访问完整数据的人可能数以百计——工程师、SRE、数据科学家。但 PB 级数据的外传不是”插个 U 盘”的事,需要持续的基础设施和极高的操作安全性。Google 的内部数据访问审计和异常流量检测属于业内最严格之列。
路径二:枚举式抓取。 理论上,可以通过向 Google Books 构造大量精确查询,逐个收集返回的片段页面,拼凑出完整书籍。这套方案的工程挑战在于:Google 有成熟的速率限制和反爬机制;片段视图只展示搜索命中的页面区域,重建一本 300 页的普通书需要海量查询。一些 HN 评论者估算,以每秒一次查询、每本书需要 300 次命中、目标百万册级别——这需要数十年,且大概率中途被封锁。
路径三:通过机构合作伙伴获取。 部分 Google 数据通过 HathiTrust 等渠道对学术机构开放。理论上,一个研究人员可以合法获取大量数据用于研究目的,后续流向不受控。这种做法在法律上的风险不需要多解释。
路径四:AI 公司的数据管道。 悬赏明确提到适用 AI 公司的训练数据集。近年来,Meta、OpenAI 等公司被发现在训练数据中使用了来自影子图书馆的文本。如果 AI 公司已经从 Google Books 或其他渠道获取了数据用于训练,这些训练语料本身可能成为”后门”——一个不需要直接攻击 Google 的替代路径。
笔者的判断:这四条路的成功率都不高。但赏金的象征意义可能大于操作意义。它把一个问题砸到了桌面上:世界上最大的书籍数字档案属于全人类还是一家公司?
对抗的实质
这个悬赏本质上是两套价值体系的碰撞。
Google 的立场代表”合法获取”范式:知识应该通过版权法、商业许可和机构访问协议来流动。创作者获得报酬,平台获得收入,用户获得服务。这个体系对发达国家的研究人员和有能力付费的读者运转良好,但对全球南方的普通读者而言基本关闭。
Anna’s Archive 的立场代表”开放获取”范式:数字时代的知识边际复制成本为零,阻碍流通的是法律壁垒而非技术约束。它不否认创作者应获报酬——赏金系统本身就是一种替代性价值分配——但认为当前版权制度在数字环境下已功能失调。
HN 讨论中有一位用户 harshreality 的评论概括了更激进的视角:“如果知识是自由的,那么任何将修改后的知识锁在企业服务中的商业行为,都应该被解放出来。“这个逻辑把矛头从 Google 转向了所有将公共数据私有化的公司,包括 AI 公司。
另一条评论更为务实:“如果 Google 不打算让任何人读这些书,当初为什么要扫描它们?“话糙理不糙。二十年前 Google 用”民主化知识获取”说服了图书馆界交出馆藏。今天这些数据被锁在服务器上,原始承诺的兑现遥遥无期。这是信任的失落,不只是法理的争议。
更复杂的是悬赏中 AI 公司数据集的条款。当科技巨头用影子图书馆数据训练模型但不开源时,知识不对称出现了新维度:不再是”有没有钱买书”,而是”谁能用人类知识总量训练下一代 AI”。Anna’s Archive 在这个维度上的立场是一贯的——它公开了自己的全部数据集,任何人都可以用 BitTorrent 下载完整的 1.1 PB。
参考链接:
写在最后
本文基于 HN 讨论页(415 分,225 条评论,截至 2026-07-05 06:30 UTC)、Anna’s Archive 官方悬赏页面(Issue #234)、Google Books 公开历史记录及媒体报道撰写。文中涉及的数据估算基于公开信息推断,笔者不保证精确性。
笔者的研究领域是技术基础设施与信息流通的交叉地带。本文不构成对任何行为的鼓励或反对。知识的获取与创造者的权益之间的平衡,是每个数字时代公民都需要自己思考的问题。