AI 抛出 1 太瓦聚变堆设计图时,谁敢签发安全许可

AI 抛出 1 太瓦聚变堆设计图时,谁敢签发安全许可

AI数学安全审查

数据源:Terence Tao 博客 + HN 讨论

当一个 AI 模型给出一座 1 太瓦(terawatt)核聚变电站的全新图纸,并附带了人类从未想过的约束方案,谁敢在这份开工许可上签字?

UCLA 密码学教授 Amit Sahai 在陶哲轩的博客上发表了一篇客座文章。面对机器汹涌的知识产出,他给出的安全防线是储备成规模的人类「理解力」。

机器产出速度击穿人类吸收极限

Sahai 举了一个残酷的例子。本科数学系里,总有一批学生发现自己吸收新概念的速度远比不过顶尖天才,最终因为挫败感退出研究。现在全人类都在体验这种跟不上的感觉。AI 已经在产出漂亮的新数学思路。这远不是单纯重现人类现有证明那么简单。

知识的生产成本正在跌向零。吸收知识的成本依然由人类大脑的生物学极限牢牢锁定。一个人每天能深度阅读的论文数量有严格上限。用技术代跑虽然能出结果,但剥离了理解过程。单兵带宽无法接住几何级暴涨的信息输出,扩大总承载人口成了必选项。

陶哲轩 2026 年在 IPAM 炉边对谈上的照片 图:陶哲轩 2026 年在 IPAM 炉边对谈上的照片。来源:Wikimedia Commons

1 太瓦剥夺了历史经验保障

为什么非要人去理解?回到 1 太瓦核聚变电站的例子。1 太瓦是罕见的高功率量级,模型给出的全新约束方式本身就带有致命属性——它太新了。

过去几十年运行同类设施积累的信任链条在这里全部断裂。在批准建造前,必须有人能推演失效如何被约束、停机时系统里已存储的能量会走向哪里、材料行为是否符合预期。当系统缺乏历史运行数据作支撑时,如果连模型背后的实验证据和误差不确定性都无法被人类独立推演,最优设计就等同于黑盒。

把理解力打造成社会级防线

Sahai 没有要求人类去和机器比拼计算速度,或者手动重算机器能可靠跑完的流程。《自然·人类行为》的研究显示,简单引入人类干预并不能自动改善技术决策。

他主张把「理解」变成一种被组织、被资助的社会能力。与其把数学看作象牙塔里的智力游戏,不如把它视为可部署的智力储备。个体能承受的认知负载有极限。人类需要时间去消化复杂性。只有成规模的团队合作,才能构成一道审查机器工程方案的安全网。

保罗·厄多斯与少年时期的陶哲轩 图:保罗·厄多斯与少年时期的陶哲轩,1985 年前后。来源:Wikimedia Commons

外包给机器换来无数 XY 问题

围绕这篇文章,技术社区劈开了两个阵营。一方从心智构建的角度出发,认为数学本质是改变人脑思维方式的工具。一旦把它当成可交易的商品全包给大模型,产出的定理没有人类能真正领会,知识就只是一堆死物。

另一方给出了扎实的工程实况。不少把工作整包丢给模型的开发者发现,自己并没有拿到完美答案,反而撞上了无休止的经典 XY 问题。系统架构被塞进过度的复杂性。最终交付的代码充满隐患。

当 AI 连陶哲轩这种级别的数学家都在辅助起草文章时——Sahai 坦言 GPT 6 Astra 在行文期间起到了关键帮助——人类的价值重心已经发生转移。系统越是能高产出复杂的前沿方案,能独立查验方案边界的验证者就越具备决定权。

参考链接:

  • Terry Tao’s Blog 客座文章
  • HN 讨论
  • Lobsters 讨论
  • Nature Human Behaviour 研究报告