免费咨询 +86 +86 159 4889 5569
近期,人工智能领域出现了一项颠覆常规认知的研究。该研究由微软研究院主导,聚焦于当前备受关注的智能体(Agent)技术。
通常认为,智能体记忆的信息越多,其表现应当越出色。然而,这篇于10月5日发表在arXiv上的论文《Fork-and-Flush: Escaping Idea Basins in Autoresearch Agents》却指出,情况可能正好相反:交互时间越长,智能体越容易陷入思维僵化。针对这一问题,微软提出的解决方案听起来简单直接——定期清除对话历史。
研究人员关注的对象是一种“自动进行研究”的智能体。其工作流程为:提出方案、执行实验、评估得分,然后根据反馈提出下一个方案。这个过程循环往复,每次运行可能持续数小时甚至数天。
他们让同一个智能体在相同任务上独立运行了八次。按理说,结果应大致相似,但实际最终得分从68.3到100.0不等,中位数为81.9,最优与最差之间相差超过30分。
更令人沮丧的是,增加计算资源也无济于事。对于表现较差的几次运行,即便投入大量额外计算,它们也只是在原地徘徊,差距几乎无法弥补。
原因何在?研究团队将每次运行产出的方案按“功能相似度”绘制成二维地图,发现每次运行的方案都集中在地图的某个小区域内,且从头至尾几乎没有移动。他们为这些区域取名为“思维盆地”(idea basin)。八次运行分别落入了五个不同的盆地中。
这好比一个装修团队,第一天确定了北欧风格,之后购买的每件家具都朝着北欧风靠拢。即便地中海风格可能更适合这个户型,他们也难以想到,因为手机里存满了北欧风的参考图。聊天记录,就是智能体手机里的那些参考图。
值得注意的是,这些智能体本身就具备“自动压缩聊天记录”的功能,当对话过长时会自行总结再继续。但实际测试表明,仅靠压缩摘要,仍无法跳出思维盆地。
该方法名为Fork-and-Flush,可译为“分叉加清空”,分为两个步骤。
分叉(Fork):将智能体复制成多个并行分支,每个分支都继承完整的“工作区”,即之前编写的代码、文件和实验结果,所有内容原封不动地保留。
清空(Flush):每个分支的聊天记录被清零。这些分支不再考虑之前的想法,而是基于现有资源,重新思考应该怎么做。
经过一段固定时间的运行后,比较各分支的得分,保留表现最佳的那个继续运行,其余分支则被解散。论文中有句话点明了关键:新分支必须从这些文件中重新推导出自己的意图,这正是它能够落入另一个盆地的原因。
研究人员在13个长周期任务上进行了测试,包括多连块拼图、车间调度、密码破译、压缩图像分类器以及优化VLIW内核。单次运行时长从几小时到超过一百小时,使用的模型是GPT-5.6-terra和GPT-5.5,通过GitHub Copilot的命令行工具调用。
在相同计算预算下比较归一化平均得分:单次运行得分为0.47,运行四次取最佳得分为0.54,而Fork-and-Flush方法得分为0.78。换算成相对提升,它比单次运行高66.0%,比四选一方案高44.4%。在13个任务中,该方法在12个任务上取得了最高平均分。同时,其表现也更加稳定,标准差从0.26降至0.16。
消融实验也颇具启发性:仅清除聊天记录而不分叉,性能提升约22%;仅分叉而不清空,也有提升;但两者结合,效果才最为显著。这表明,“遗忘”和“多次尝试”各自发挥着不同的作用。
最戏剧性的一次发生在拼图任务中。当计算预算消耗到71%时触发了清空操作,胜出的那个分支在首次提交时就跳出了43个单位的距离。这是什么概念?单次运行的智能体到了这个阶段,每一步最多只能移动4.4个单位。这一跳直接落入了全新的盆地,最终获得93.9分,而八个单次运行基线的中位数是84.6。另外三个未能跳出的分支,每一步移动不超过1个单位,原地停滞不前。
有人可能会认为,随着模型变得更强,这种钻牛角尖的问题就会消失。
研究团队使用Qwen3.5的4B、9B和27B三个版本,在MAX-3-SAT这类难度可精确调节的任务上进行了验证。结果发现,多次运行之间的差异呈现出一条倒U型曲线:任务过于简单时,每次都能完成,解决方案趋同;任务过于困难时,每次都失败,失败模式也趋同;差异最大的位置,恰好处于模型能力的边界附近,大约在“能做对一半”的地方。拟合出的峰值在0.497,基本处于正中间。
而开放性的研究问题,按定义就处于能力边界上。因此,作者的判断是,随着模型继续变强,这种现象大概不会消失,只是边界会转移到更困难的问题上。定期重置上下文这一方法,对未来的前沿模型可能仍然有效。
这项研究对从事智能体产品开发的人提出了一个直接提醒:“上下文是资产”这一默认假设,或许值得重新审视。积累的记忆超过某个临界点后,可能会反过来限制探索,早期的推理会将智能体锚定在一条不够理想的路径上。
本文来自微信公众号“大数据文摘”,36氪经授权发布。