长程与迁移评测检查完整交付
整仓迁移例如把Vue项目改为React,或把Flask服务改成Starlette:不只是代码能运行,还需确实迁移并保留必要行为。SWE Refactor Bench包含20项任务、8模型/26配置,每配置每任务运行一次,按任务给6–30小时预算,总计520次。[2]
520次中,340次通过迁移审查,118次通过全部固定行为检查,88次同时满足前两项,28次再通过六个独立验证器;13/20任务没有任何配置全过。118和340是不同检查的计数,不是依次下降的漏斗。全关通过也只证明通过这套检查,不能证明所有可能输入都行为等价。[2]
SWE-Marathon另研究多小时工程的失败诊断,但其标签只覆盖清洗后部分失败与任务家族,不能外推到全部运行。本轮未直接重核该论文的具体失败比例,故不以筛选分母代替能力结果。[1]
对应材料:SWE-Marathon 原论文SWE Refactor Bench
相邻研究及其条件,尚未验证本场景的完成率或收益。
浏览器Agent的提示注入风险
提示注入是网页等外部内容诱导Agent偏离用户目标。2025-11-24研究报告Claude Opus 4.5与当时Chrome扩展防护的组合,使用强化学习、不可信内容分类器和人工红队改善浏览器鲁棒性;内部自适应攻击者对每个环境最多尝试100次,仍约有1%攻击成功率。[3]
这个数是指定模型与防护、内部攻击配置的测试,不是任意Agent或生产泄漏率。它说明防御已有改善,也说明攻击不能只靠模型自律解决;本页未复跑攻击与防御。[3]
对应材料:提示注入防御研究
相邻研究及其条件,尚未验证本场景的完成率或收益。
Agensh扩展并行探索的实验
Agensh让多个工作者认领任务、并行实现、共享代码与状态。ProgramBench要求从零复现程序输入输出,例如Pandoc文档转换工具;实验采用GPT-5.6-sol(high)+Copilot、禁用互联网,给六小时墙钟时间。工作者先自验,再由同伴承担集成角色、通过Git合并,测试器只负责评估。[4]
五个大型软件重建题中,1到128个实例的平均部分测试通过率从19.31%升至28.78%;仅Pandoc题从1到1024实例由33.89%升至55.06%,128到1024只增加4.12个百分点。实例渐进启动且分布多节点,未控制总token与费用;这些不是完整软件交付率,也不是同预算实验。[4]
对应材料:Agensh论文与附录
相邻研究及其条件,尚未验证本场景的完成率或收益。
这些研究怎样影响本场景(编辑推断)
迁移评测区分旧测试、目标变更和独立反例。本场景需要实际补丁满足变更契约,不能只交一份“测试通过”说明。
提示注入和权限问题属于执行过程。代码或报告正确,不能抵消Agent读取了不该读取的数据或执行未获准操作。
并行探索在指定预算和任务上有部分改善,但集成与协调另有费用。局部维护先用清楚的契约与少量执行者,再比较是否需要增员。
本场景应用推断;研究没有直接测量这份工作,幅度保持未知。