2026年6月，一位叫 Ryan Findley 的工程师在他家地下室里，把 Google 最新发布的大模型 Gemma 4（260亿参数），塞进了一台2013年出厂的老服务器——没有显卡，没有AI加速芯片，纯粹靠两颗老掉牙的英特尔至强（Xeon）CPU。结果：每秒吐出5个字。
对，你没看错。5个字。你读完这句话的时间，它刚好蹦出下一个词。
但这台机器跑起来了。在HN上拿下了209个推荐，139条讨论。大家兴奋的点是：废弃硬件跑最新AI，到底行不行？
这台机器有多老？
先看看这台”老家伙”的配置。它原本是一台HP的存储服务器——当年企业买来专门存文件用的，设计目标是”塞硬盘”，不是”做数学题”。两颗至强E5-2690 v2 CPU，2013年的产品，内存还是上上代的DDR3规格。整机现在二手市场上不到300美元（约2000元人民币）。
更关键的是，它缺了一条几乎所有现代AI软件都默认”你应该有”的指令集——AVX2。这是英特尔在2014年才加进CPU里的一组加速指令，专门处理大规模向量运算。没有它，就像让一个只会个位数加减的小学生去解微积分，算当然是能算，但每一步都得拆成无数小碎步。
原作者一开始也失败了。他照着另一位技术博主在2016年款至强上跑通的方法试了一遍，程序直接崩溃。用他自己的话说：“它不跑。“
那它是怎么跑起来的？
这里有一个细节，可能是整件事最耐人寻味的部分。
作者不是C++程序员。他看不懂那些底层代码里密密麻麻的向量指令。但他做了一件事：把报错信息丢给了AI助手Claude，问它”为什么崩了？”
Claude读完了别人的代码，诊断出原因——他这台CPU比对方的老一代，缺少AVX2指令，而代码里有两个关键的计算路径，写死了”必须有AVX2才能走”。更糟糕的是，这两个路径会悄悄跳过——程序看起来在正常运行，但输出的结果已经是一团乱码。Claude描述这种现象的原文很有意思：“模型同等愉快地输出泰文、韩文、乱码标记和英文碎片。“它像一个脑子被灌了浆糊的人，什么都敢说，但没一句对的。
然后作者做了一件更难得的事：他让Claude重写了那两段代码，把”必须有AVX2”的硬性要求，改成了”如果有就用，如果没有就走慢速备用通道”。三个补丁下去，模型从一团乱码变成了清晰流畅的英文回答。
整个过程，作者扮演的角色是”实验员”和”判官”——跑测试、看输出、判断”这个结果对不对”。真正改代码的，是另一台机器上的另一个AI。
一台AI修好了另一台AI在老硬件上的代码。十三年前的CPU和几个月前发布的模型，在中间人的撮合下达成了和解。
慢，但够用了
5个字每秒是什么概念？ChatGPT的付费版通常每秒吐出30到60个字，快的时候超过100字。5个字，大概是你在地铁上慢慢读文章的速度。
日常聊天肯定不够用。等它回一句话，你够泡杯茶。但作者提出了几个实际场景：当付费API（程序接口）宕机时的备用方案；或者跑一些不赶时间的批量任务——比如让它花一晚上处理一批文档，第二天早上看结果。这些场景下，慢不是问题，能不能跑才是。
HN社区里有人提出一个更乐观的预测：到2027年中，2000亿参数以上的大模型就能在普通消费级设备上跑起来。反对者提醒说，参数多不等于能力强，压缩太狠的模型质量会打折。但两边的共识是清晰的：大模型正在从云端往下沉，下沉的速度比大多数人预想的快。
天价GPU vs 废弃CPU
过去两年，AI圈有一个不言自明的等式：搞AI = 买显卡 = 烧钱。英伟达一块H100加速卡卖到三四万美元，企业成百上千块地买。AI的入场券，明码标价。
但这篇博文打开了一扇不同的窗。一台三百美元的废铁，不插任何加速卡，照样把260亿参数的大模型跑起来了。它不是替代方案——5个字每秒，离云端服务的速度和质量还差得远。它更像一个存在证明：证明门槛没有想象中那么高，证明”你必须有最新硬件”这句话不是绝对真理。
这种张力贯穿了整个讨论区。一边是天价GPU支撑的云端AI帝国——快速、强大、昂贵；另一边是地下室里的老服务器——缓慢、笨拙、但免费。它不颠覆什么，也谈不上革命，但它的确把AI从”花钱订阅”的默认选项中暂时剥离了出来，让人看到另一种可能性。
这跟我们有什么关系？
你大概不会去买一台十三年前的服务器回家跑AI。但这篇博文传递的真正信号，和那个300美元的价格标签关系不大。
真正值得注意的，是那个让13年老机器起死回生的过程本身。一个不会写底层代码的人，借助另一个AI，读懂了陌生人的代码，定位了隐藏极深的漏洞，写出了补丁。这不是”一键修复”的魔法——作者反复跑实验、比对输出、剔除干扰因素，直到确认结果是正确的。AI做了最难的脑力活，但决定”这到底对不对”的，始终是人。
笔者觉得，这才是整件事最安静也最重要的部分。当AI的推理能力越来越强，“会不会写代码”和”能不能让机器做对事”之间正在拉开距离。后一种能力，有时候只是一个愿意在凌晨两点盯着报错日志看的人。
而这个人，不一定坐在硅谷的办公室里。他可以在地下室，守着一台十三年前就该退休的服务器。
参考链接：
- NeoMind Labs: Running Gemma 4 26B on a 13-year-old Xeon
- HN 讨论 (item?id=48922434)
- “A 10 year old Xeon is all you need” 原文（启发本文的项目）