5个普通AI组队分工,写代码反超顶尖大模型

5个普通AI组队分工,写代码反超顶尖大模型

AI编程多智能体Qwen开源模型软件工程

数据源:HN + web research

解决高难度编程题,行业长期默认必须依赖最昂贵的顶尖模型。2026 年 10 月底公布的一项代码评测,打破了这条经验定律。五个中等规模的开源模型组成流水线,在测试中交出 9.8 分的均分。

这一成绩超过了闭源旗舰 Fable 5 单次调用的 8.0 分。过去行业比拼代码能力,赌注全押在巨型模型的参数规模上。这次实验摆出新证据:严密的组织规则能弥补模型本体的智力落差。

9.8分对8.0分:小模型组队跑赢单体旗舰

评测选用的题目来自代码评测集 LiveCodeBench 的困难分卷。测试挑选了其中最难的 10 道题目,每道题连续运行 5 次。评分直接依据未公开的隐藏测试用例,排除了死记硬背的可能。

五个 Qwen3.8-27B 组成的团队交出了四轮满分、一轮 9 分。相比之下,单次调用的 Fable 5 拿到 8.0 分,原作者的专用框架拿到 9.6 分。单体模型在长链解题中一旦推理偏离,整个代码生成就会滑向失误。

Memdoor 命令行执行窗口截图 图:Memdoor 命令行界面,展示了多智能体工作流的分步执行。来源:Memdoor 项目文档

这项实验基于开源工具 Memdoor 的自动化脚本。开发者把前沿论文的协作方法拆解为 8 个配置文件,没有额外编写一行代码。标准化配置就能复现前沿成果,智能体协作开始走出手工调优阶段。

斩断连续记忆,全靠磁盘文本传话

多智能体开发常见的做法,是让模型像群聊一样来回对话。会话历史拉长后,前期的误判与幻觉会持续污染上下文。让中等模型保持清醒的首要步骤,是切断它们之间的连续对话记忆。

在这套方案里,五个节点全部运行在各自独立的环境中。每个智能体被唤醒时面对一张白纸,上一个节点说过什么它一概不知。节点之间的唯一桥梁,是保存在本地磁盘上的文本文件。

规划者写入 plan.md,技术要点记入 notes.md,编写者生成 solution.py。磁盘文件充当了物理隔离的黑板,强迫交接过程只保留高纯度事实。摆脱长上下文的干扰后,中等模型的代码生成稳定性明显上升。

Memdoor 项目主视觉 图:Memdoor 项目架构概念图,展示了通过无状态隔离管理流程。来源:memdoor.ai

把解题流水线拆成五道独立工序

解题流程没有交给单个全能助手,而是被拆解成类似工业的流水线。规划节点只负责审题并厘清输入输出,严禁直接动手写代码。规划者向磁盘写入任务分解方案,为后续节点设定严格的工序边界。

随后两个独立的构思节点同时开工。前者寻找路径最短的直观方案,后者专门探索不同算法家族的替代分支。编写节点读取两份备选思路,挑选可行度最高的一份翻译为正式程序。

编写完成的代码并不直接提交,而是交给专门的本地脚本运行公开样例。测试脚本输出客观冷酷,报错信息会被原样记录在案。把关者审视测试结果,修补者根据具体报错逐行修复代码。让写代码与查错误的角色物理隔离,打破了自我审查容易产生的思维盲区。

40分钟换一道题,协同机制暴露出真实代价

亮眼的成绩单背后,伴随着清醒的工程代价。测试 50 轮总计消耗 1530 万输出 token,账单为 35.79 美元。单次成本仅需 0.39 美元,但单题耗时中位数长达 40 分钟。较低的资金花费与漫长的等待耗时,意味着这套方案目前只适合离线批处理。

多智能体自身的逻辑缺陷同样带来了波折。在丢分的一轮测试中,把关节点凭空捏造了一个错误的反例。它误判原本正确的代码存在缺陷,强制修补节点重写,导致正确程序反被改坏。另外两处测试里,也发生过正确代码被覆盖后又重新抢救回来的波折。

评测样本的局限性也必须客观审视。实验仅覆盖了 10 道题目,且题目源自 2025 年春季的公开竞赛。我们不能排除模型在预训练阶段接触过原题的可能。对照组 Fable 5 采用单次直接调用,若换上同等精细的工作流,胜负犹未可知。

组织架构开始压过单体模型体积

这次测试的核心价值在于揭示了系统编排的潜力。单看单一节点的知识储备,顶级大模型依然保持着明显的优势。一套严密的流程拓扑设计,有效弥补了开源模型在参数规模上的天然短板。

无状态隔离规避了认知干扰,磁盘文件保障了信息高保真流转。本地测试环节构筑了客观裁判,把不确定的神经推理变为可控流水线。怎么组织多个模型协作,已经变得和模型本体有多强同等重要。

单体模型在长链难题面前频频受挫,软件工程的经典解法再次展现出生命力。善于用组织结构调度平价算力,在复杂的工程现场反而能走得更稳。

参考链接:

  • Hacker News 讨论 (item?id=50320995)
  • Memdoor 仓库与工作流文档
  • LiveCodeBench Hard 评测基准
  • GVS5H 论文与复现仓库