# 机制审计：正确答案也可能依据不合理

前沿版本：2026-10-16.1；进展：ADV06
事实范围：2026-10-13；各研究的首发与修订日期见下方时间线
阶段：研究验证：交互分析、归因图和机制干预工具已用于受控研究；完整机制覆盖、跨团队稳定性及其对真实风险决策的影响尚未验证。
状态：active


## 概念与例子：怎样检查模型给出答案的依据

可解释性研究试图找出输入、内部特征与输出之间的关系。解释工具可以提示模型可能依赖了什么，但一张漂亮的归因图不等于完全理解模型，也不能替代独立正确性检查。

一个法律答案可能碰巧正确，却依赖专家认为无关的词或变量。此时只检查最终答案会漏掉问题；研究者可以改变输入或内部特征，看输出是否按机制假设变化。

- 归因：估计哪些输入或特征与某个输出有关。
- 因果干预：主动改变某个因素，观察输出是否跟着变化。
- 机制审计：检查模型是否依赖合理依据，并评估解释本身是否稳定。
- 变量交互：若干词或特征的组合对预测产生联合影响，不能只逐词看。
- 遮挡基线：用无信息表示替换选定词，固定其他背景，比较预测如何变化。
- 稀疏交互与分数重构：用少量贡献较集中的词组合，近似重建原预测分数；不等于解释完整决策。
- 内部激活：模型计算时神经网络内部产生的中间数值；通常需要模型内部访问，聊天回答看不到。

## 具体进展

### 输入交互研究的条件

可解释性研究正在比较输入变量交互、内部特征与模型输出之间的关系，但解释图不等于模型真实使用该机制。2026年交互理论论文的稀疏性结论依赖选词、遮挡基线和分数重构目标。[交互理论论文](https://arxiv.org/abs/2608.06839)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[交互理论论文](https://arxiv.org/abs/2608.06839)

### 跨模型相似解释的证据

跨模型研究在AdaptLLM金融文本与WikiText-103文本各20例中，每例选10个词或短语，固定其他背景，分析模型对同一个目标token的预测分数。每例通常抽取约50–150组显著交互，发现共享交互往往阶数较低、正负抵消较弱。[跨模型研究](https://arxiv.org/html/2606.08129)

这是局部词组合对下一小段文本预测的分析，不覆盖完整任务轨迹，也未测试闭源前沿大模型。不同模型给出相似解释可能来自共同偏差，不能替代真实案件证据或独立正确性判断。[跨模型研究](https://arxiv.org/html/2606.08129)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[跨模型研究](https://arxiv.org/html/2606.08129)

### 正确法律答案也可能依据不合理

法律审计比较Qwen2.5-14B-Base、DeepSeek-R1-Distill-Qwen-14B、SaulLM-7B-Instruct、BAI-Law-13B四个模型，使用五类中英文法律任务、每类100个随机样本。专家选定10个短语，再由16名有法律从业或学习背景的标注者判断哪些依据相关、无关或不应使用。[法律审计](https://proceedings.iclr.cc/paper_files/paper/2026/file/5513e4a36d7637b697253e77754b67ea-Paper-Conference.pdf)

图4中的案例是甲咬伤丙，乙随后用铲子击打丙并造成死亡。SaulLM对甲的判断虽然正确，内部解释却受乙的行为和死亡词影响；这说明最终答案正确也可能依据不合理。论文的s_reliable是交互效应强度比例，不是案件错误率，不能拿来预测司法业务出错比例。[法律审计](https://proceedings.iclr.cc/paper_files/paper/2026/file/5513e4a36d7637b697253e77754b67ea-Paper-Conference.pdf)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[法律审计](https://proceedings.iclr.cc/paper_files/paper/2026/file/5513e4a36d7637b697253e77754b67ea-Paper-Conference.pdf)

### Circuit Tracing怎样通过干预检验机制

Circuit Tracing先构造较可解释的替代计算与归因图，再主动改变内部特征，观察输出是否按假设变化。Haiku 3.5在36+59时原答95；作者抑制与输入个位6有关的特征后，输出变为98。在保留原注意力模式的条件下，这为一条局部计算假设提供干预证据。[Circuit Tracing方法](https://transformer-circuits.pub/2025/attribution-graphs/methods.html)

这不表示已经找到所有决策原因：跨越很多层的干预预测会变差，验证往往只针对较粗特征组与方向效果。让聊天模型解释自己的理由也不能替代这种内部检查。[Circuit Tracing方法](https://transformer-circuits.pub/2025/attribution-graphs/methods.html)

原研究事实摘要，原始配置与适用范围沿引用材料核对。
对应材料：[Circuit Tracing方法](https://transformer-circuits.pub/2025/attribution-graphs/methods.html)

### 商业关联与独立复验要分开

跨模型论文作者Yao Yan署名SymTrustAI，这是需要披露的商业关联；它不自动否定研究结果，但应与独立复验分开评价。[跨模型研究](https://arxiv.org/html/2606.08129)

原研究事实摘要，原始配置与适用范围沿引用材料核对。
对应材料：[跨模型研究](https://arxiv.org/html/2606.08129)

## 时间线

- 2025-03-27（机构方法发布 / 日期）：Circuit Tracing方法公开。
  日期依据：原始入口日期标签
- 2026-06-06（论文首稿 / 日期）：跨模型交互研究首次提交。
  日期依据：原始入口日期标签
- 2026-08-07（论文/项目页面发布 / 日期）：交互理论论文的原始发布记录；不代表实验在该日完成
  日期依据：arXiv首稿记录
- 2026-10-13（研究材料范围 / 资料截止）：这份研究摘要的资料范围，不是上述事件统一发生的日期。
  日期依据：原研究报告事实范围

## 工作意义

工作建议（编辑推断）：领域人员先标注答案应依据什么，检查反事实输入；掌握研究工具和内部模型访问的工程人员再检验局部机制，业务负责人保留独立正确性与风险验收。

只有聊天输出时，可以核对引用和候选依据、尝试替代解释，但不能称为完成Circuit Tracing。法律或信贷等任务还需用留出材料盲审解释的误报、漏报和实际纠错效果；本页研究未证明常规业务风控已通过。

### 后续观察

机制审计可能先用于提出风险假设和定位可疑依据。若独立团队在留出样本、不同基线及定向干预中复现解释，并证明它能预警实际错误且误报可控，才支持纳入常规模型风险流程；对信贷或法律任务还需领域专家盲审误报与漏报，并公开利益关系和失败案例。

## 证明材料

### Mathematical Principles and Experimental Discoveries of the Emergence of Symbolic Patterns in Artificial Neural Networks

[交互理论论文](https://arxiv.org/abs/2608.06839)；类别：研究预印本；状态：active
支持：稀疏符号交互的研究主题；具体理论条件仍继承既有报告。
定位：arXiv摘要与版本记录；理论条件沿正文核对，本轮正文未成功读取。
沿上述章节核对该材料的操作和观察；区分局部机制与整个任务的正确性。
原始发布：2026-08-07；修订：未提取；arXiv首稿记录
本轮仅核对摘要与日期，未称全文理论复核。
2026-10-14书目信息，非实验复验。

### Cross-LLM Consistency in Inference: Evidence from Shared Interactions

[跨模型研究](https://arxiv.org/html/2606.08129)；类别：研究预印本；状态：active
支持：指定文本样本的局部交互抽取与跨模型比较，以及作者商业署名。
定位：§2.1–2.2；§3.1–3.2/图3–5；Limitations；附录C.1–C.3。
沿上述章节核对该材料的操作和观察；区分局部机制与整个任务的正确性。
原始发布：2026-06-06；修订：未提取；arXiv首稿（稿内其他日期不冒作修订）
只分析共同目标token，不覆盖完整任务；没有闭源前沿大模型或业务正确率结果。
2026-10-14书目信息，非实验复验。

### Can LLMs Reason Soundly in Law? Auditing Inference Patterns for Legal Judgment

[法律审计](https://proceedings.iclr.cc/paper_files/paper/2026/file/5513e4a36d7637b697253e77754b67ea-Paper-Conference.pdf)；类别：ICLR 2026会议论文：法律机制审计；状态：active
支持：法律任务配置、专家相关性标注及答案正确而依据不合理的例子。
定位：§2.2；§3.1（PDF第7页）；§3.2/图4（第8页）、图5；附录I与L.1。
沿上述章节核对该材料的操作和观察；区分局部机制与整个任务的正确性。
原始发布：未知；修订：未提取；原始发表日期未提取，保留未知
相对简单案件和特定模型；交互强度比例不是案件错误率，未作完整司法风控验证。
2026-10-14书目信息，非实验复验。

### Circuit Tracing: Revealing Computational Graphs in Language Models

[Circuit Tracing方法](https://transformer-circuits.pub/2025/attribution-graphs/methods.html)；类别：原始研究或机构项目说明；状态：active
支持：替代计算/归因图与内部定向干预，36+59局部例子。
定位：方法页 Interventions、加法案例及机制忠实性限制章节。
沿上述章节核对该材料的操作和观察；区分局部机制与整个任务的正确性。
原始发布：2025-03-27；修订：未提取；机构方法页发布日期
机构方法实验；只验证局部特征组与方向，未完整解释模型或复验业务。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-13。概念解释与既有研究展开；元数据访问不是原始实验复验。

## 变化与限制
法律模型可能答对却依赖不相关行为；Circuit Tracing通过改变内部特征检验局部计算。两条路线帮助找机制线索，仍需独立正确性检查。
指定研究的编辑判断，未对本站任务做新的完整现场验证。
来源→机制→任务适配，不分配来源分数给任务。

## 原子影响
- DATA-21832-A2（adjacent）：归因与机制干预提出可疑依据，解释图不是完整审计或生产风控通过。
  相邻机制参考，不证明本原子通过；需实际输入、权限、独立验收和恢复。
  /atoms/DATA-21832-A2.md
- DATA-21832-A3（adjacent）：归因与机制干预提出可疑依据，解释图不是完整审计或生产风控通过。
  相邻机制参考，不证明本原子通过；需实际输入、权限、独立验收和恢复。
  /atoms/DATA-21832-A3.md

网页不授予业务权限，相邻研究不证明当前任务通过，未知保持未知。