能力变化
后训练与蒸馏:小模型适配与多教师策略
单卡小模型的窄任务实验,以及多教师工具策略蒸馏,展示了不同的能力适配路线;模拟办公演示与真实组织交付仍需分开。
整理 2026-10-14 · 原研究范围 2026-10-13
先理解研究对象
后训练和蒸馏怎样改变模型的工作能力
后训练是在已有模型基础上,让它更适合具体任务;蒸馏则让学生模型学习专家模型的输出或策略。可自动判断对错的任务特别适合提供反馈,例如算术、代码测试或受限工具操作。
一个大模型可以给小模型示范处理工单的办法,但学生学会几种流程,不等于能处理所有企业例外。训练数据、评分器和最终测试必须分开,否则可能只学会了那套题。
- 强化学习反馈
- 用任务结果或奖励指导模型调整行为。
- 蒸馏
- 把教师的知识或行为迁移给学生,并不保证没有能力损失。
- LoRA
- 只调整一小部分附加参数,常用于较低资源的任务适配。
- token
- 模型处理文本的单位,可能是一个词、字或词的一部分。
- 运行框架(harness)
- 包含工具接口、执行规则、上下文管理和评测规则的运行环境。
- 轨迹
- 完成一次任务时连续的操作、工具反馈和回答记录。
- MOPD
- 多教师在线策略蒸馏:学生自己尝试任务,由匹配的专家评价它的输出,学生据此学习。
具体发生了哪些进展
小模型后训练的单卡实验
Token-Efficient RL研究怎样在少量训练参数和显存下改善推理。它不对整段输出的每个token都计算训练更新,而选择部分有信息量的位置;在Qwen2-1.5B冻结底模上更新LoRA附加参数,使用一张分区A100 40GB,输出上限300token。[1]
作者分别训练文字算术题和三位数乘法。在SVAMP的300道测试题中,论文v4表1报告:底模准确率45.0%,S-GRPO为70.3%,T-SPMO为71.6%。这是作者在指定小模型与判分方式下测到的改善;尚未独立复跑,不能用来断言大模型训练也能单卡完成,或企业流程已省下相同比例工时。[1]
对应材料:Token-Efficient RL
既有研究报告的事实摘要与条件说明;具体引用在正文标注
IQuest-Q1的多教师工具策略蒸馏
IQuest-Q1公开说明了四类教师:改善用户交互、适应不同运行框架、处理长程任务和完成通用工具任务。学生先自己尝试操作,由匹配专家评价每个token,再整合不同策略。这种反馈路径不同于只模仿教师的固定答案;它仍属于发布方机制披露。[2]
发布方给出一个模拟飞书办公例子:从聊天与制度中核对接口事故,整理报告并创建后续任务;遇到无效负责人ID,再查找正确人员并恢复操作。这个例子让人看见“收集信息→处理证据→产出文件→纠正工具错误”的过程。本页依据演示文字说明,未核对完整视频与运行日志,不能当作真实企业部署或成功率。[2]
模型卡还说明部分评测采用公开分数,其他由发布方按各自框架运行,部分任务限时6或8小时;当前模型只接收文本。跨框架分数不能直接比较为统一能力进步。[3]
对应材料:官方训练说明模型卡
既有研究报告的事实摘要与条件说明;具体引用在正文标注
开放代码与模型权重许可分开
GitHub代码使用Modified MIT许可,对商业界面显示有条件;模型卡另标iquest-q1权重许可。两者的对象不同,不能由代码开放直接推出模型权重的所有使用权。具体用途需沿各自文本核对。[4] [3]
对应材料:模型卡GitHub许可证
许可证与模型卡文本说明;不是能力或成本实验
进度与时间线
论文发布、修订、业务进度和资料截止分别标识。未披露的事件日不补成精确日期。
2025-04-29论文/项目页面发布
Token-Efficient RL的原始发布记录;不代表实验在该日完成
arXiv首稿记录 · 日期
2025-06-11论文修订
Token-Efficient RL的版本修订,应按对应版本读取结论
原始页面修订记录 · 日期
2026-10-13研究材料范围
这份研究摘要的资料范围,不是上述事件统一发生的日期。
原研究报告事实范围 · 资料截止
原始日期未明确项目披露
IQuest训练路线与模拟办公材料已纳入截至2026-10-13的研究范围;可靠首发日未提取。
既有报告引用与本轮公开说明;不推断首发日 · 未披露
这对实际工作意味着什么
应用思路(编辑推断):若团队有可自动验收的固定算术或工具流程,可比较适配前后的错误率、异常恢复和总成本;但训练材料应与最终验收分开。多教师路线提示可以分别训练交互与错误恢复策略,并不证明本站任务已经验证。
专业模型与自托管的价值还取决于数据准备、训练、推理、许可和维护。先用小规模授权材料试验,再判断是否值得扩大;仅凭激活参数较少或演示顺利不能下结论。
还有什么需要观察
可验证奖励与蒸馏可能继续扩展到有明确判分器的工具和办公任务。上行情景需要冻结任务与harness,由独立团队在同预算下复现泛化和错误恢复,并核算训练、推理、数据、许可与本地运维成本;还应观察真实流程接受率、人工接管和维护工时。
引用的证明材料
正文中的编号指向下列材料。材料类别、具体支持与限制一起阅读,不能按链接数量累计独立验证。
[1] 研究预印本
Token-Efficient RL
支持的内容:用于说明:小模型后训练的单卡实验
阅读定位:v4 §3(选择token的训练方法)、§4.1(配置)、§4.2表1/2(测试样本与结果)。
先读表1的300题与底模对照,再看§4.1的LoRA和显卡条件。
- 文档原始发布
- 2025-04-29
- 文档修订/更新
- 2025-06-11
- 日期依据
- arXiv首稿记录
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
作者窄任务训练实验,审阅核对指定原文;未复跑或验证企业收益。
结果依据继承原研究 2026-10-13,具体配置和局限需沿原文核对。
[2] 公开代码或模型资料
官方训练说明
支持的内容:用于说明:IQuest-Q1的多教师工具策略蒸馏
阅读定位:官方项目 Training:MOPD与模型融合;Office work:模拟飞书事件处置。
先看四类专家如何评价学生轨迹,再看办公演示文字描述;不要把演示日期当真实业务时间。
- 文档原始发布
- 未提取到可靠日期
- 日期依据
- 原页面未提取到可靠发布日期,保持未知
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
发布方机制与模拟案例说明;未观看完整视频或核对运行日志。
结果依据继承原研究 2026-10-13,具体配置和局限需沿原文核对。
[3] 公开代码或模型资料
模型卡
支持的内容:用于说明:IQuest-Q1的多教师工具策略蒸馏;开放代码与模型权重许可分开
阅读定位:模型卡 Introduction、Benchmark Notes、Limitations 与 License 标签。
分别看框架、任务时限、文本输入与权重许可。
- 文档原始发布
- 未提取到可靠日期
- 日期依据
- 原页面未提取到可靠发布日期,保持未知
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
发布方模型卡;与项目站同源,不算独立复验。
结果依据继承原研究 2026-10-13,具体配置和局限需沿原文核对。
[4] 公开代码或模型资料
GitHub许可证
支持的内容:用于说明:开放代码与模型权重许可分开
阅读定位:LICENSE 中 Modified MIT 商业界面显示条款。
核对代码许可对象,并另读模型卡对应的权重许可。
- 文档原始发布
- 未提取到可靠日期
- 日期依据
- 原页面未提取到可靠发布日期,保持未知
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
只概括文本,未对具体部署用途作合规判断。
结果依据继承原研究 2026-10-13,具体配置和局限需沿原文核对。
本页整理:2026-10-14 · 研究事实范围:2026-10-13。概念解释与既有研究展开;元数据访问不是原始实验复验。