在一张正常的数据表里检索「WHERE 4 = 5」的记录,任何系统都该返回空集。但在 AI 辅助写出的数据库 ParticleDB 上,查询直接返回了真实数据,文本列甚至变成了整数。分布式审计机构 Jepsen 随后发布报告,在常规单机环境下抓出了 96 个严重缺陷。Jepsen 给出严厉结论:建议用户停止部署 ParticleDB,尽快迁走现有数据。
审计委托方是工作流引擎 Conductor 的母公司 Orkes,ParticleDB 正是其自研的核心基础设施。为了验证可靠性,Orkes 主动出资邀请 Jepsen 展开审计。出人意料的是,测试刚开始,底层的事务机制就崩塌了。这起事件第一次把大模型写复杂软件的代价量化在行业面前。
单机运行不设路障,抓出 96 个离谱错误
Jepsen 的看家本领,是模拟网络分区、节点宕机和时钟混乱。但在本次针对 ParticleDB 的测试中,这些重型武器一件都没用上。测试人员只用单台机器与单个客户端,在零故障干扰下,底层错误便成批涌现。系统宣称的事务保障,在基础单机环境中直接失灵。
系统展现出来的行为相当反常。写入的数据行会直接隐形且无法删除,删掉的表又在后续查询中变形重现。在默认的 occ 模式下,正常提交的写入会凭空消失。即便切换到最严格的 serializable 级别,系统依然报错并丢失更新。
图:Jepsen 报告开头汇总的部分安全缺陷与测试结果。来源:Jepsen 报告原文
直到测试周期末期的 1.1.18.11.rc-22 版本,96 个问题中依然留有 10 个未解决。Orkes 随后发布新版并宣称问题已解决,但从未由第三方机构复核。对于底层数据库而言,单机语义一旦失守,上层设计就失去了立足点。
宣称提速千倍,实测一小时内吞吐持续下跌
除了事务保证,ParticleDB 曾宣称性能「比 PostgreSQL 快 1087 倍」。这种跨数量级的指标飞跃在 AI 代码宣传中很常见。Jepsen 的实际压测迅速击碎了这个神话。
仅在一小时的连续测试中,系统的写入吞吐量就呈线性下滑。与此同时,操作的延迟中位数显著攀升。脱离特定的受控环境后,激进的宣传指标很快被工程现实推翻。
这种性能滑坡发生在一轮激进的版本重构之后。团队抽检了较早的 1.0.0 版本,发现老版本并没有出现大规模安全崩塌。新分支用大模型加入了自定义协议与复杂查询,稳定性却大幅倒退。新架构在纸面上特性丰富,真实负载下连稳定吞吐都维持不住。
更多高调宣称的特性甚至没有进入测试视野。由于提供的软件无法支持 Raft 复制,多节点一致性测试被迫搁置。时序分析、地理计算与向量检索等特性,也全留在了未经检验的盲区。
几人干完几百人年工程,代价是作者也解释不清故障
过去打造一套支持复杂 SQL 的分布式系统,往往需要数十人奋战多年。Orkes 仅靠一小队工程师借力大模型,几个月内就拼完了系统。Jepsen 直言这是大模型生产力的奇观,也是深层混乱的起点。
审计人员在报告中把 ParticleDB 称为「正确性错误的分形」。开发者刚用 AI 修好一个表层错误,底层就会冒出更怪异的新故障。代码工具多次声称问题已修复,测试脚本一跑,破坏依然如期发生。
图:Jepsen 分析大模型研发利弊,指出系统陷入错误分形。来源:Jepsen 报告原文
面对接二连三的系统崩溃,开发团队说不清故障的具体机理。新版本频繁发布,却没有附带任何清晰的变更记录。Jepsen 直言没人知道错误因何而起,开发者似乎也不觉得需要知道。当创造者丧失对内部机理的解释权,系统就蜕变成了一座无法掌控的黑盒。
约束生效却不加校验,AI 抹平了开发流程
系统的严重质量失控,折射出软件开发流程的脱节。Orkes 团队曾表示在交付前已跑通测试套件,确认系统合规。但 Jepsen 接入同一套测试后,连接刚建立便出现大面积安全违规。Jepsen 创始人事后坦言,难以理解对方此前究竟如何通过测试。
报告第 4.3 节披露了一个耐人寻味的工程细节。系统声明支持 NOT NULL 非空约束,测试库里却没有插入空值的反向用例。系统增加了 CHARACTER(10) 定长字符串类型,团队却从未测过写入五个字符的表现。
Jepsen 明确指出,这种现象直接暴露出开发流程的真空。大模型很擅长按指令生成繁复的接口定义与功能分支。但它不会自发补充防御逻辑。面对涌出的大量代码,团队省去了原本必不可少的校验流程。
表面信号更容易被伪造,工程底线不能靠提示词守住
在以往的行业认知中,判断一个软件是否成熟有现成依据。规范的接口、丰富的特性和漂亮的测试标志,通常对应长期投入。如今借助大模型,一支小团队几天内就能批量捏造出所有外在表现。
拼装代码的成本大幅降低,但验证底层数学正确性的门槛从未改变。面对外表规范且名词前沿的软件,普通用户很难察觉内核的空虚。成熟度信号变得廉价易仿,正在削弱软件行业对技术规范的基本信任。
Jepsen 的报告给盲目追逐 AI 速度的团队敲响了警钟。对承载核心数据的底层软件而言,缺乏严格推导的代码等同于隐患。如果设计者无法解释崩溃机理,提示词堆出的海量代码也换不来真实的安全。
参考链接:
- Jepsen 针对 ParticleDB 1.1.4 的安全性审计分析
- Hacker News 社区关于 ParticleDB 审计报告的技术讨论