在 MATH-500 测试中，轻量级模型 Qwen3.5-0.8B 最初仅取得 7.9% 的成绩。测试里 93% 的解答遭遇中途卡死，直接撞上 32,768 个 token 的长度上限。模型陷入无休止的文字复读，在耗尽额度前始终未能交出最终答案。
常规工程思路会选择收集新数据，重新执行漫长的反向传播训练。三位作者采取了截然不同的方案。他们让前沿大模型 Astra 挂载 Python 环境，直接读写底层的神经网络参数。
93% 解题撞上死循环，小模型卡在终点线前
参数量不足 10 亿的 Qwen3.5-0.8B 开启深度思考模式后，展现出强烈的逻辑卡顿。模型官方文档此前早已发出警告，提示该小模型在长程推理中容易陷入思考死循环。模型在草稿本里反复推导同一组论述，直到上下文窗口被废话填满。
模型已经掌握代数推导规律，但解题回路被异常的自激信号锁死。算力在无效循环中被白白耗尽，真正的数学推导反而被挤出视线。
测试数据显示，原版模型在 GSM8K 测试集上的正确率同样只有 13.8%。指令遵循（IFEval）基准测试的表现也停留在 21.0% 的低位。整座神经网络如同一台引擎完好却被卡死手刹的赛车，急需精准的手术干预。
不动梯度反向传播，AI 拿代码直接做神经外科手术
在传统认知中，数十亿浮点数构成的权重如同无法拆解的黑盒。想要纠正网络行为，工程师只能依靠反向传播（Backpropagation）与梯度下降（Gradient Descent）。整个过程全凭概率调整，极易破坏模型原本具备的其他通用常识。
研究团队提出「权重空间编程」（Weight-Space Programming）范式。Astra 不需要昂贵的显卡集群进行漫长训练，仅凭借普通 Python 解释器直接读取张量。团队为 Astra 提供了 50 次前向传播（Forward Pass）预算，供其观察中间激活层的计算状态。
Astra 最终锁定了引发灾难的具体回路。第 15 层与第 19 层的多层感知机（MLP）模块中，存在一个持续写入循环特征的异常向量方向。Astra 编写脚本，从这两层的 64 个输出列中精确定向减去该向量，直接切断了死循环的传导路径。
整场修改仅变动了 131,072 个浮点参数，在 8 亿总参数中占比仅为 0.016%。改动完成后，撞上长度上限的比例骤降至 33.1%，MATH-500 正确率直接飙升至 48.1%。与此同时，GSM8K 成绩跃升至 67.1%，指令遵循能力更提升近三倍。参数级别的精准切除，释放了被故障掩盖的推理潜能。
对照实验打破神话：修掉故障绝非无中生有
这一跃升难免引发直观猜想：大模型是否通过修改权重凭空学会了高难度数学？研究团队随后在谷歌 Gemma 3 270M 模型上进行了严格对照。与 Qwen 不同，Gemma 3 270M 本身极少发生死循环，答题撞上长度上限的概率仅为 8.5%。
当 Astra 尝试以同样手法优化 Gemma 时，提分策略并未奏效。Gemma 的 MATH-500 基础得分仅为 6.8%，经历多次前向分析与微调后，得分仅在 7.0% 至 7.7% 之间微弱晃动。作者在报告中坦承，这种小幅波动属于测试噪声，提升效果未被确认。
Astra 检索参数后确认，Gemma 犯下的全是四则运算与代数变形的基础错误。这些知识缺失均匀分布在整座网络各处，不存在单一故障回路可供切除。切除异常权重能够解除功能抑制，却无法凭空捏造未曾习得的先验知识。手术刀能割除肿瘤，但无法替代骨骼的后天生长。
从读懂游戏到重构网络，权重空间打开全新工程入口
直接干预权重不仅能修补大语言模型，还能解读强化学习（Reinforcement Learning）的隐藏策略。在一项测试中，研究人员向 Astra 输入一个包含 17,253 个权重的简单多层网络，且隐去了所有任务标签。Astra 仅凭权重矩阵数值分布，便推断出该网络正在运行雅达利打砖块（Breakout）游戏。
Astra 的推导逻辑清晰展示在执行日志中。它发现第一层权重的高响应区域集中在网格最底行，判断这是玩家操控的挡板位置；高回报权重视角则排列在网格顶部，符合砖块得分特征。模型展现出直接解析高维参数几何构型的抽象能力。
图：这个只有 17,253 个权重的网络其实在打砖块——标签被抹掉后，Astra 只凭权重数值认出了它。来源：Astra 官方博客
图：车关卡对比：Astra 改过权重的车会倒车起跳越过障碍。来源：Astra 官方博客
在小车爬坡越障控制实验中，传统近端策略优化（PPO）训练的小车深陷局部最优，持续卡在陡坡无法动弹。Astra 审查控制器参数后手工重构了输出层连接。修改后的小车学会了后退蓄力，利用惯性冲坡起跳跃过障碍。神经网络参数由此呈现出类似传统软件代码的可读性与可维护性。
争议折射现实分歧：这是搬开绊脚石，还是造出新引擎
实验公开后在开源社区引发热烈交锋。技术论坛的质疑声音主要指向概念界定。开发者 l9o 指出，把解除循环表述为「教会模型数学」并不准确，Qwen 原本就具备推导能力，只是被死循环剥夺了交卷机会。另有工程师提到，利用概念消融（Abliteration）抹除特定倾向已有先例，这次的关键在于借助模型推理补齐了自动化流程。
工程支持者则看重这项机制的工业潜能。对于 20B 到 70B 规模的本地模型，重新微调需要耗费昂贵算力，容易诱发灾难性遗忘。如果大模型能够自主巡检权重簇并定向排除微观缺陷，开源社区将获得轻量化的维护路径。
参数空间的直接解构为神经网络优化开辟了全新路径。Astra 展现了务实的回路排障方案。当算法能以代码方式检视并纠正同类的神经连接，消除障碍与赋予能力的界限也变得清晰可见。
参考链接：
- Astra 官方技术博客
- Hacker News 社区讨论
