只改0.016%参数就把数学从7.9%提到48.1%，原理是什么？局部修改和循环修复原理

2026-11-06 0

极少权重改动的价值，在于处理影响很广的循环瓶颈，并非塞进相同比例的新数学知识。更多回答能够结束并形成可评分答案，因而最终得分可能出现远大于参数比例的变化。

0.016% 对应多少参数？

报告给出的改动数为 131072 个权重，相对于约 8 亿参数，比例约为 0.016%。这是参数数量比例，不是文件大小、推理耗时或训练费用减少了相同比例。改动位置的重要性，比数量本身更能影响行为。

实验把循环与第 15、19 层 MLP 写入的一项方向联系起来，并对每层选中的 64 个输出列做相应处理。它不是把这两层全部删除，也不是重新训练整张网络，而是尝试减少某种会被后续计算放大的信号。

“方向”可理解为高维表示中的一种组合模式，不是某个数字直接写着“开始重复”。模型的行为分布在计算中，读出并编辑它依赖结构分析与反馈，不能仅凭参数表肉眼判断。

当大量回答原先无法结束，修复后能给出答案，正确率就可能明显上升。测试统计的仍是最终是否答对，并不会把已推到接近答案、却最终耗尽长度的样本算作成功。

这也解释了为什么小改动不必对应小收益。反过来，改动少同样可能破坏重要能力，不能把参数比例低当作安全保证。

先在原版与编辑版上统一配置，统计正确率、重复率、超长输出、完成耗时与其他任务回归。若只看一个数学分数，可能忽略通用问答、代码、拒答或指令遵循的变化。

还要保存原权重和校验信息，能够回滚。编辑效果应落实到相应文件与测试条件，不能把“只动了百分之零点几”当成无需复核的理由。

它展示的是：某些表现差可能来自可定位的行为障碍，而不全是模型规模不足。诊断对了，局部编辑可能很有效；若缺的是推理能力本身，削弱循环方向就未必有帮助。

郑重声明：本站发布内容宗旨在传播更多信息，仅提供查阅，与本站立场无关，不拥有所有权，不承担相关法律责任。不具有任何效益，仅供参考。如果需要专业知识建议，请咨询相关专业人士。如有侵权请联系邮箱。一经查实，立即删除！

喜欢(0)

权重空间编程会不会取代梯度训练？与成熟训练流程的关系

为什么 Qwen 小模型会一直重复推理？循环成因与配置排查方法