今天怎样委派
分阶段接收
MLE-bench证明训练与实验可以被Agent组织成可评分交付；其预算、公开数据与榜单条件特定。独立保留集与数据机制限制迁移，不能用多次搜索最好一次作稳定表现。
W-C06 · 条件能力评估
机器学习实验包：数据、训练与可解释的保留集表现
在预算和数据使用边界内交付可重现模型或实验结论，包含独立保留集、切片误差和失败记录。
现在的用法
可委派数据检查、训练搜索和模型产物；先校准保留集与泄漏控制，再按冻结指标接收模型，不用竞赛得分替代部署判断。
MLE-bench的公开研究在Kaggle工程任务上实测了Agent的数据准备、模型训练与实验能力；它支持离线实验交付存在，不能直接代表生产收益；MLflow能记录训练参数、代码版本、指标和输出文件，便于交付完整试验账本。
开始前满足这些条件
- 固定数据版本、标签来源、许可、训练/验证/保留划分、硬件、时间/费用和可用预训练权重。
- 评分器/保留集权限与开发环境分开；明确不可检索答案、训练污染和多次试验选择规则。
本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。
用你已有的上下文继续
交给我的 Agent
带走当前公开资料，让你的 Agent 结合已有背景继续分析。也可以读完就结束。
查看可复制的内容
我正在了解：机器学习实验包：数据、训练与可解释的保留集表现 在预算和数据使用边界内交付可重现模型或实验结论，包含独立保留集、切片误差和失败记录。 请读取这项工作的输入、条件和验收，结合当前授权与环境完成我提出的交付。先说明可执行范围和阻塞；保留失败、重试与独立接收记录，不把示例当作本次已运行结果。 公开资料： 当前任务与验收资料：https://edgeofwork.com/work-units/W-C06.md?version=2026-10-21.workunits.2 区分职业资料、研究结果、工具声明和编辑推断；读取资料给出的日期、版本与范围。需要时补充原始来源。使用自己的自然报告或对话继续，无需把个人材料和分析回填网站。
当前判断与直接依据
工具今天能否获得
训练框架和记录工具公开；竞赛/模型/计算资源有条件且本文未消耗新试验。
MLE-bench ↗ · 2026-10-20公开仓库HEAD 507f92e1138bb6e40dac5c6ee7a6758e6424bf97；实际运行另固定依赖/镜像/模型
公开代码；Kaggle条款、GPU/数据存储与模型API另备
MLflow Tracking ↗ · Tracking文档；具体包版本在实际试验固定
开源记录工具；存储/访问控制另配置
哪些具体证据支持判断
外部报告结果
MLE-bench的公开研究在Kaggle工程任务上实测了Agent的数据准备、模型训练与实验能力；它支持离线实验交付存在，不能直接代表生产收益。
MLE-bench 原论文 ↗
支持：训练交付有直接研究而非只由编程成绩外推。
定位：Abstract；75 competitions；resource scaling
范围限制：历史竞赛样本；本页不采用或迁移其奖牌比例。
判断限制：历史竞赛样本；本页不采用或迁移其奖牌比例。
研究配置：原论文75个Kaggle竞赛，含o1-preview+AIDE等配置；模型/脚手架和预算按原实验区分；未在本站重放。
工具与方法依据
MLflow能记录训练参数、代码版本、指标和输出文件，便于交付完整试验账本。
判断限制：记录不证明无泄漏或指标适合业务。
有条件的编辑推断
在独立保留集和预算受控时，可整包委派训练搜索；采用决策以保留集切片、资源和下游条件作阶段接收。
MLE-bench 官方实现与可比性公告 ↗
支持：可运行训练及评分资产是迁移基础。
定位：README：leaderboard update/agents
范围限制：官方暂停新提交，任何目标任务成功率仍未知。
判断限制：官方暂停新提交，任何目标任务成功率仍未知。
输入变化会怎样改变结论
标签与评测集
标签噪声、样本不平衡或实体/时间依赖。
采用范围：先接收数据诊断与划分，再搜索模型。
验收变化：抽核标签、实体隔离、未来特征和重复；保留所有清洗影响。
微调与基础模型
调用预训练权重、检索或第三方模型。
采用范围：增加许可、上下文与生成评测，不能沿用分类准确率。
验收变化：无检索泄漏，任务/安全控制独立，记录外部API版本。
研究复现与消融
目标是论文结果或新方法比较。
采用范围：按贡献与实验接收；理论结论与新颖性另核。
验收变化：对应W-C14的代码/结果/消融及复现差异。
前沿已经展示到哪里
公开训练任务已有实测与可运行资产；当前排行榜暂停新提交，跨方法可比性有限，尚不能证明本组织数据上的泛化。
未知下一步怎样验证
取一个未泄漏的小型真实数据问题，锁定时间/实体保留集与预算，先跑简单参考，再让Agent交完整模型和失败账本；服务化另测。
未来什么信号会扩大或缩小边界
- 在新时间窗/实体保留集持续超过简单基线且资源可追踪，可考虑扩大相近输入范围。
- 标签/未来特征泄漏、切片退化或只保留最好一次结果，应收窄或暂停相应采用。
交付什么
请求：定义预测对象、可用时间点、错误代价与接收指标；研究须给可反驳假设与复现目标。
覆盖数据/标签诊断、训练或适配、基线与消融；上线服务与真实业务收益另以W-C15/W-A03接收。
- 研究或预测目标
- 定义预测对象、可用时间点、错误代价与接收指标；研究须给可反驳假设与复现目标。
- 数据与预算
- 固定数据版本、标签来源、许可、训练/验证/保留划分、硬件、时间/费用和可用预训练权重。
- 独立评分
- 评分器/保留集权限与开发环境分开；明确不可检索答案、训练污染和多次试验选择规则。
接收产物
- 数据/标签/划分清单和泄漏检查
- 可重跑训练或微调代码、配置、权重与基线比较
- 保留集/误差切片、试验账本、资源和未达到目标的解释
怎样验收
1. 评价不被开发污染
按时间/实体/组划分并审查特征可用时点，保留集由独立入口评分。
拒收例子：同一用户重复进入训练和测试，或使用未来标签。
2. 结果可重现且代价明确
从固定环境重新训练/加载权重，核对种子、预处理、依赖、尝试次数与实际资源。
拒收例子：只交最好的截图，丢掉失败与调参预算。
3. 泛化和结论相称
对关键业务群体、漂移与简单基线比较；研究结果含消融与可反证范围。
拒收例子：验证分上升就声称已改善生产效果或提出新理论。
一个具体例子
输入：按时间预测设备故障，维修后信息不能在预测时使用。
预期交付：固定时间划分、基线/候选权重、关键设备切片与资源记录。
容易出错：随机分行让同一设备泄漏进保留集，得高分却无法新设备泛化。
工作步骤怎样重组
原来的组织方式
数据准备、特征、调参、训练与报告由多人交接。
现在的组织方式
Agent可按评分反馈自主选择模型、代码与实验，确定性训练器直接运行；保留集和预算与搜索过程分离。
保留的判断、新增的工作与失败接管
仍需做好
- 确认目标、数据权利、错误代价和上线门槛；不需要手工逐步挑特征，但须保护独立评分。
新增职责
- 对关键业务群体、漂移与简单基线比较；研究结果含消融与可反证范围。
人的责任：确认目标、数据权利、错误代价和上线门槛；不需要手工逐步挑特征，但须保护独立评分。
失败处理：数据质量或划分不成立时先交诊断和修复方案；预算内未达标是结果，不生成虚构成绩。
尚待补足
- 目标标签/划分与保留集、资源预算和未来时间窗泛化未独立验证，不能继承竞赛分数。
这对个人和团队意味着什么
职业与岗位
机器学习工程、数据科学、计算机研究
数据/标签/划分清单和泄漏检查
取一个未泄漏的小型真实数据问题，锁定时间/实体保留集与预算，先跑简单参考，再让Agent交完整模型和失败账本；服务化另测。
查看相关职业与方向 →团队与分工
MLE-bench证明训练与实验可以被Agent组织成可评分交付；其预算、公开数据与榜单条件特定。独立保留集与数据机制限制迁移，不能用多次搜索最好一次作稳定表现。
Agent可按评分反馈自主选择模型、代码与实验，确定性训练器直接运行；保留集和预算与搜索过程分离。
用一项真实授权交付核对可接收产物、失败、返工和接收耗时；据此调整工具/环境与团队分工。
查看工作分工与组织案例 →依据具体支持了什么
MLE-bench 原论文
训练交付有直接研究而非只由编程成绩外推。
未覆盖：历史竞赛样本；本页不采用或迁移其奖牌比例。
MLflow Tracking 官方说明
提供可追踪实验接口。
未覆盖：记录不证明无泄漏或指标适合业务。
MLE-bench 官方实现与可比性公告
可运行训练及评分资产是迁移基础。
未覆盖：官方暂停新提交，任何目标任务成功率仍未知。
原文定位、日期与职业来源关系
- MLE-bench 原论文 ↗
2024-10-09 · 定位：Abstract；dataset与resource scaling
Kaggle训练、数据准备与实验交付；离线竞赛不覆盖在线收益/模型运维；历史配置不代表现行最好系统。
核查 2026-10-20 · 下次复查 2027-01-20
- MLflow Tracking 官方说明 ↗
未标注单页发布日期 · 定位：Runs；Models；Tracking Runs
参数、代码版本、指标与产物记录；记录工具不证明训练/部署正确；执行前应固定依赖。
核查 2026-10-20 · 下次复查 2027-01-20
- MLE-bench 官方实现与可比性公告 ↗
持续更新仓库；2026-04-24公告 · 定位：README：Leaderboard update；Setup/agents
训练环境、评分器、运行入口；官方暂停新榜单提交；不同预算、数据访问和脚手架成绩不可混用。
核查 2026-10-20 · 下次复查 2027-01-20
未来3–5年：2029–2031
2029–2031：从单份修改到持续交付的软件Agent
整包应用案例、真实修复接收和运行流程优化，是更长软件任务可委派的正面信号。以下是本站据此提出的条件情景，不是这些研究给出的日期预测。
当前建议回答今天怎样交付；未来3–5年指2029–2031。编程的完整交付与数学的开放问题成果，支持认真准备更广泛自主工作的强情景。本站把AGI视作跨领域、能适应新任务且可靠达成复杂目标的讨论对象；这些进展是方向证据，尚不能确认某个AGI定义已满足或必在某年发生。三种情景均给出可观察信号、职责变化与现在行动，不把今天的局限或人的现有分工写成永久边界。
基准情景：完整修改成为常用交付
在上下文与测试较成熟的系统中，Agent承接功能、修复和回归的一体交付，维护者从逐步编写转向目标、异常与接收；审查的一部分继续自动化。
现在的行动：现在沉淀真实行为契约、失败样本和环境；按净交付周期衡量收益，不以代码量替代。
成立信号与职责变化
- 未见仓库和变更类型仍保持可验收交付
- 返工、接收和线上恢复成本随使用改善
- 环境/上下文变化能被检测并更新
工程岗位更常覆盖需求、系统取舍与运行结果；初级培养需从只写代码升级为理解与验证完整修改。
加速情景：软件成为按目标持续运行的系统
若长链恢复、跨仓库迁移和自动验证持续进步，Agent可在权限与预算内规划、实现、迁移和维护较大系统；人可用更少逐步干预探索新产品，团队边界可能重组。
现在的行动：把工具和职责做成可替换接口；试验更大交付，但按实际触发信号扩围，并安排成员转向新的业务机会。
成立信号与职责变化
- 跨多系统、数周目标能在真实变化后继续交付
- 独立评估能发现自生成测试漏掉的重要错误
- 完整人工介入和故障成本持续下降，且系统可迁移到新业务
稀缺工作可能转向选目标、产品机会、资源和影响取舍；不能预设人工代码审查永远是主要瓶颈。
受限情景：编码快，集成与组织仍慢
模型产物更强，但遗留系统、隐性需求、权限和恢复成本使自主交付扩展较慢；固定程序与AI协作长期并存。
现在的行动：优先修复反复出现的集成障碍；保持可回退的部署和岗位安排，避免依据榜单单独裁定编制。
成立信号与职责变化
- 未知依赖和需求变动仍引发大幅返工
- 审查和事故处理抵消生成提速
- 同一Agent换系统后需要重新铺上下文
系统知识、集成和沟通能力仍有高价值；工具投入首先服务复现、测试和资料。
持续观察什么，以及情景的研究依据
- 实际未见仓库的完整交付与维护记录
- 跨月净人工时间、回滚与事故情况
- 任务/环境/模型版本变化后的迁移表现
- 把长时间应用开发交付给Agent ↗
2026-03-24 · 定位：规划/生成/评价分工、实际应用操作及评价者限制
展示围绕可用应用的实现、操作评价与修正循环，支持以用户行为验收功能。；作者工程案例；未复现演示应用，不能推出任意项目可靠率或多Agent必优。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- AI参与的修复PR：哪些被项目接收，哪些没有 ↗
2026-01-29 · 定位：§2样本、表1、§3.2失败原因
五类Agent参与的8106个修复PR中5267已合并、2113关闭未合并、726仍开放；提供修复交付与项目接收的观察。；非随机样本，Agent配置与项目不同；合并不等同全部正确或净省时，不用于本站成功率。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- Harness²：固定执行模型，改进运行流程 ↗
2026-10-09 · 定位：§2.2、§3.1表1、附录B/D
WorkBuddy-Bench Code上的平均检查得分变化及工具/上下文/检查流程的优化方法。；检查项均分不是项目通过率；经验流内相关，候选与编辑成本另计；未验证本站任务。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- Anthropic内部的工作与职责变化 ↗
2026-10-16 · 定位：Bottlenecks and process；采用非随机限制
单公司现场观察到Agent组织、上下文维护和注意力分配成为新的工作。；公司业务及采用选择特殊；产出代理量不等于完整业务价值，不外推行业岗位数量。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- 任务时间跨度：软件任务趋势及其适用范围 ↗
未标注（最后更新2026-09-08） · 定位：页首维护状态；Methodological Details；FAQ
在给定软件类任务分布上，按人类专家任务时长描述模型可完成难度，适合观察长链能力趋势。；此页已停止主动更新；时间跨度不是Agent自主运行时长，不直接对应行业自动化或AGI日期。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查