# 合成训练数据：外部验证带来有条件的改善

前沿版本：2026-10-16.1；进展：ADV01
事实范围：2026-10-13；各研究的首发与修订日期见下方时间线
阶段：研究验证：外部验证改善递归合成训练的证据限于理论分析和小模型摘要微调；任务级大规模合成流程已有公开报告，通用训练净收益与长期数据质量尚未确定。
状态：active


## 概念与例子：模型为什么要用自己生成的训练数据

合成数据是模型生成的题目、答案、对话或操作轨迹，可以用于同一模型的下一轮训练，也可以训练另一个模型。它能补足人工样本稀少的场景，例如罕见报错与多工具协作；关键是生成后怎样判断正确，而不是生成数量有多大。

例如要训练报销助手，可以合成缺发票、金额冲突和重复提交的案例。若筛选程序把错误答案当正确样本，后续模型可能反复学到同一种错误；因此还需独立人工或程序检查，并保留未参与训练的测试材料。

- 合成数据：由程序或模型构造的训练样本，不等于真实业务记录。
- 验证器：判断生成样本是否满足要求的人、模型或程序。
- 留出集：没有用于训练或调参的材料，用来检查是否能处理新问题。
- 递归合成训练：重复“生成样本→筛选→再训练”，让新模型继续生成下一轮样本。
- 后训练：模型基础训练完成后，再练习回答、工具使用等具体任务。
- 工具环境：提供可调用工具、操作对象和验收条件的训练场景，例如在沙盒中查文件、改代码并运行测试。
- ROUGE-1：比较生成摘要和参考摘要的词语重合程度；它不能充分衡量事实正确性和业务价值。

## 具体进展

### 验证器怎样改变合成训练的长期结果

2025年提出、2026年修订的研究考察多轮合成训练：新模型用上一轮生成的数据继续学习，错误是否会不断积累？作者在理论分析、线性回归和小模型实验中发现，加入外部验证可以改善部分设置；但验证器有偏差或漏检时，收益仍可能停滞甚至反转。[验证研究](https://arxiv.org/abs/2510.16657)

摘要实验使用 SmolLM2-135M 和 XSUM 新闻摘要数据，按生成摘要与已有参考摘要的 ROUGE-1 得分保留前 12.5%。与未筛选的递归重训相比，筛选后的表现先改善、随后趋于稳定。这里已有参考答案可供打分；它没有证明同样办法能解决没有标准答案的开放业务判断，也没有证明真实数据已耗尽。[验证研究](https://arxiv.org/abs/2510.16657)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[验证研究](https://arxiv.org/abs/2510.16657)

### DeepSeek-V3.2公开工具任务合成规模

DeepSeek-V3.2技术报告披露，为工具使用后训练构建了1800多个环境和85000条复杂提示。环境不仅是一段文字，还包含工具和任务条件；例如模型需调用工具完成操作，再由检查程序判断是否符合要求。这说明大规模构造可检查任务已有工程路线。[V3.2技术报告](https://arxiv.org/abs/2512.02556)

这些数字是环境与提示规模，不是底模预训练语料替代率、有效样本比例或已经独立复现的业务收益。报告还区分真实和合成环境、提取和合成提示；评估时不能把它们全当作同一种合成训练数据。[V3.2技术报告](https://arxiv.org/abs/2512.02556)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[V3.2技术报告](https://arxiv.org/abs/2512.02556)

## 时间线

- 2025-10-18（论文/项目页面发布 / 日期）：验证研究的原始发布记录；不代表实验在该日完成
  日期依据：arXiv首稿记录
- 2025-12-02（论文/项目页面发布 / 日期）：V3.2技术报告的原始发布记录；不代表实验在该日完成
  日期依据：arXiv首稿记录
- 2026-07-16（论文修订 / 日期）：验证研究的版本修订，应按对应版本读取结论
  日期依据：原始页面修订记录
- 2026-10-13（研究材料范围 / 资料截止）：这份研究摘要的资料范围，不是上述事件统一发生的日期。
  日期依据：原研究报告事实范围

## 工作意义

如果团队训练报销或工单助手，可用合成案例覆盖低频异常，再用未参加筛选的真实材料检验。但筛选器、专家抽检、污染排查和错误修复也要计入成本，不能由样本增加量直接推算省下多少工时。

应用建议（编辑推断）：先在同一预算下比较真实数据、未筛选合成数据和筛选后混合数据，观察新任务表现、低频错误与人工检查时间。使用客户案例前还需核对资料授权和可复用范围；上述论文没有给出这些组织成本或金融授权的现场结论。

### 后续观察

合成数据可能继续用于可自动验证的窄任务。只有独立验证和留出评测在固定预算下稳定改善质量、长尾表现与总成本，才支持扩大使用；应观察真实数据、未筛选合成数据及验证后混合数据的同预算对照，并核实数据授权与验证器失败情况。

## 证明材料

### Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence

[验证研究](https://arxiv.org/abs/2510.16657)；类别：研究预印本；状态：active
支持：多轮合成训练中外部验证的作用；XSUM摘要实验依赖参考答案筛选，长期收益受验证器质量限制。
定位：论文 v3：§5.3、图5（摘要实验）；§5.2（另一小模型任务）；§6（限制）。
先看§5.3的评分与筛选比例，再看图5中多轮训练的趋势；不要把初期改善读成无限持续增长。
原始发布：2025-10-18；修订：2026-07-16；arXiv首稿记录
独立审阅实际核对原文这些部分，未重跑实验或复核全部数学证明；仅支持论文指定任务与验证条件。
2026-10-14书目信息，非实验复验。

### DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models

[V3.2技术报告](https://arxiv.org/abs/2512.02556)；类别：研究预印本；状态：active
支持：工具使用后训练的环境与提示构造流程、公开规模及实验设置；不支持本页的组织成本与授权推断。
定位：论文 v1：引言（1800多个环境、85000条提示）；§3.2.3及表1（工具任务与真实/合成来源）；§4.3（消融）。
先读表1的任务分类和生成流程，再核对消融与评测条件；任务规模不是独立业务收益。
原始发布：2025-12-02；修订：未提取；arXiv首稿记录
厂商技术报告，独立审阅核对指定正文；未独立复现实验或验证真实组织收益。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-13。概念解释与既有研究展开；元数据访问不是原始实验复验。

## 变化与限制
用已有参考摘要筛选合成数据的实验，先改善后趋稳；DeepSeek-V3.2另公开1800多个工具环境、85000条提示的构造流程。两项研究分别回答验证条件与工程规模。
指定研究的编辑判断，未对本站任务做新的完整现场验证。
来源→机制→任务适配，不分配来源分数给任务。

## 原子影响
- DATA-21837-A2（adjacent）：应用推断：检查筛选器是否漏掉低频错误，按错误类型分别记录漏检和误收。
  相邻机制参考，不证明本原子通过；需实际输入、权限、独立验收和恢复。
  /atoms/DATA-21837-A2.md
- DATA-21837-A4（adjacent）：应用推断：用未参与合成筛选的材料与原模型对照，验证修改后模型是否仍能处理新问题。
  相邻机制参考，不证明本原子通过；需实际输入、权限、独立验收和恢复。
  /atoms/DATA-21837-A4.md

网页不授予业务权限，相邻研究不证明当前任务通过，未知保持未知。