# 后训练与能力蒸馏

前沿版本：2026-10-16.1；领域F03

## 概念与例子：后训练和蒸馏怎样改变模型的工作能力

后训练是在已有模型基础上，让它更适合具体任务；蒸馏则让学生模型学习专家模型的输出或策略。可自动判断对错的任务特别适合提供反馈，例如算术、代码测试或受限工具操作。

一个大模型可以给小模型示范处理工单的办法，但学生学会几种流程，不等于能处理所有企业例外。训练数据、评分器和最终测试必须分开，否则可能只学会了那套题。

- 强化学习反馈：用任务结果或奖励指导模型调整行为。
- 蒸馏：把教师的知识或行为迁移给学生，并不保证没有能力损失。
- LoRA：只调整一小部分附加参数，常用于较低资源的任务适配。
- token：模型处理文本的单位，可能是一个词、字或词的一部分。
- 运行框架（harness）：包含工具接口、执行规则、上下文管理和评测规则的运行环境。
- 轨迹：完成一次任务时连续的操作、工具反馈和回答记录。
- MOPD：多教师在线策略蒸馏：学生自己尝试任务，由匹配的专家评价它的输出，学生据此学习。

## 具体进展

### 小模型后训练的单卡实验

Token-Efficient RL研究怎样在少量训练参数和显存下改善推理。它不对整段输出的每个token都计算训练更新，而选择部分有信息量的位置；在Qwen2-1.5B冻结底模上更新LoRA附加参数，使用一张分区A100 40GB，输出上限300token。[Token-Efficient RL](https://arxiv.org/abs/2504.20834)

作者分别训练文字算术题和三位数乘法。在SVAMP的300道测试题中，论文v4表1报告：底模准确率45.0%，S-GRPO为70.3%，T-SPMO为71.6%。这是作者在指定小模型与判分方式下测到的改善；尚未独立复跑，不能用来断言大模型训练也能单卡完成，或企业流程已省下相同比例工时。[Token-Efficient RL](https://arxiv.org/abs/2504.20834)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[Token-Efficient RL](https://arxiv.org/abs/2504.20834)

### IQuest-Q1的多教师工具策略蒸馏

IQuest-Q1公开说明了四类教师：改善用户交互、适应不同运行框架、处理长程任务和完成通用工具任务。学生先自己尝试操作，由匹配专家评价每个token，再整合不同策略。这种反馈路径不同于只模仿教师的固定答案；它仍属于发布方机制披露。[官方训练说明](https://iquestlab.github.io/#training)

发布方给出一个模拟飞书办公例子：从聊天与制度中核对接口事故，整理报告并创建后续任务；遇到无效负责人ID，再查找正确人员并恢复操作。这个例子让人看见“收集信息→处理证据→产出文件→纠正工具错误”的过程。本页依据演示文字说明，未核对完整视频与运行日志，不能当作真实企业部署或成功率。[官方训练说明](https://iquestlab.github.io/#training)

模型卡还说明部分评测采用公开分数，其他由发布方按各自框架运行，部分任务限时6或8小时；当前模型只接收文本。跨框架分数不能直接比较为统一能力进步。[模型卡](https://huggingface.co/IQuestLab/IQuest-Q1)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[官方训练说明](https://iquestlab.github.io/#training)、[模型卡](https://huggingface.co/IQuestLab/IQuest-Q1)

### 开放代码与模型权重许可分开

GitHub代码使用Modified MIT许可，对商业界面显示有条件；模型卡另标iquest-q1权重许可。两者的对象不同，不能由代码开放直接推出模型权重的所有使用权。具体用途需沿各自文本核对。[GitHub许可证](https://github.com/IQuestLab/IQuest-Q1/blob/main/LICENSE) [模型卡](https://huggingface.co/IQuestLab/IQuest-Q1)

许可证与模型卡文本说明；不是能力或成本实验
对应材料：[模型卡](https://huggingface.co/IQuestLab/IQuest-Q1)、[GitHub许可证](https://github.com/IQuestLab/IQuest-Q1/blob/main/LICENSE)

## 时间线

- 2025-04-29（论文/项目页面发布 / 日期）：Token-Efficient RL的原始发布记录；不代表实验在该日完成
  日期依据：arXiv首稿记录
- 2025-06-11（论文修订 / 日期）：Token-Efficient RL的版本修订，应按对应版本读取结论
  日期依据：原始页面修订记录
- 2026-10-13（研究材料范围 / 资料截止）：这份研究摘要的资料范围，不是上述事件统一发生的日期。
  日期依据：原研究报告事实范围
- 原始日期未明确（项目披露 / 未披露）：IQuest训练路线与模拟办公材料已纳入截至2026-10-13的研究范围；可靠首发日未提取。
  日期依据：既有报告引用与本轮公开说明；不推断首发日

## 工作意义

应用思路（编辑推断）：若团队有可自动验收的固定算术或工具流程，可比较适配前后的错误率、异常恢复和总成本；但训练材料应与最终验收分开。多教师路线提示可以分别训练交互与错误恢复策略，并不证明本站任务已经验证。

专业模型与自托管的价值还取决于数据准备、训练、推理、许可和维护。先用小规模授权材料试验，再判断是否值得扩大；仅凭激活参数较少或演示顺利不能下结论。

### 后续观察

可验证奖励与蒸馏可能继续扩展到有明确判分器的工具和办公任务。上行情景需要冻结任务与harness，由独立团队在同预算下复现泛化和错误恢复，并核算训练、推理、数据、许可与本地运维成本；还应观察真实流程接受率、人工接管和维护工时。

## 证明材料

### Token-Efficient RL for LLM Reasoning

[Token-Efficient RL](https://arxiv.org/abs/2504.20834)；类别：研究预印本；状态：active
支持：用于说明：小模型后训练的单卡实验
定位：v4 §3（选择token的训练方法）、§4.1（配置）、§4.2表1/2（测试样本与结果）。
先读表1的300题与底模对照，再看§4.1的LoRA和显卡条件。
原始发布：2025-04-29；修订：2025-06-11；arXiv首稿记录
作者窄任务训练实验，审阅核对指定原文；未复跑或验证企业收益。
2026-10-14书目信息，非实验复验。

### IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

[官方训练说明](https://iquestlab.github.io/#training)；类别：公开代码或模型资料；状态：active
支持：用于说明：IQuest-Q1的多教师工具策略蒸馏
定位：官方项目 Training：MOPD与模型融合；Office work：模拟飞书事件处置。
先看四类专家如何评价学生轨迹，再看办公演示文字描述；不要把演示日期当真实业务时间。
原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知
发布方机制与模拟案例说明；未观看完整视频或核对运行日志。
2026-10-14书目信息，非实验复验。

### IQuestLab/IQuest-Q1 · Hugging Face

[模型卡](https://huggingface.co/IQuestLab/IQuest-Q1)；类别：公开代码或模型资料；状态：active
支持：用于说明：IQuest-Q1的多教师工具策略蒸馏；开放代码与模型权重许可分开
定位：模型卡 Introduction、Benchmark Notes、Limitations 与 License 标签。
分别看框架、任务时限、文本输入与权重许可。
原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知
发布方模型卡；与项目站同源，不算独立复验。
2026-10-14书目信息，非实验复验。

### IQuest-Q1/LICENSE at main · IQuestLab/IQuest-Q1

[GitHub许可证](https://github.com/IQuestLab/IQuest-Q1/blob/main/LICENSE)；类别：公开代码或模型资料；状态：active
支持：用于说明：开放代码与模型权重许可分开
定位：LICENSE 中 Modified MIT 商业界面显示条款。
核对代码许可对象，并另读模型卡对应的权重许可。
原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知
只概括文本，未对具体部署用途作合规判断。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-13。概念解释与既有研究展开；元数据访问不是原始实验复验。

阶段：研究验证至公开模型：奖励微调、单卡小模型实验和多教师蒸馏已有公开案例；复杂任务的独立复现、真实流程交付与全成本收益尚未确定。
前沿暂难判断；转化暂难判断；信心低。定性判断不是职业自动化率。