系统日志诊断与验收

# 系统日志诊断与验收

前沿版本：2026-10-16.1；场景：system-diagnosis
规划基准日：2026-10-13；下次复核：2027-01-13
首次整理/公开：2026-10-13；证据截止：2026-10-13；本次编辑：2026-10-13。规划锚点不代表新增情景当时已经存在。
证据状态：active


## 概念与例子：在授权副本中定位故障并验证恢复

日志诊断是从实际现象找到可复现根因，再在允许的环境中恢复系统。生成一段诊断报告或工具命令成功，不等于用户问题已经解决。

例如同步失败时，上游可能已写入而本地回执丢失。应先查状态，不能重复执行导致副作用；副本测试通过也不能冒称客户生产已恢复。

- 技术可委派：在给定输入、工具与质量门槛下，执行部分可交给AI。
- 实际委派：组织已经接入流程并真实采用，和技术上能做不同。
- 净人时：同工作量同质量下，计入准备、复核、返工、接管和维护后的人员时间变化。
- 提示注入：不可信网页或文件用文字诱导Agent改变目标或越权。

## 具体进展

### 长程与迁移评测检查完整交付

整仓迁移例如把Vue项目改为React，或把Flask服务改成Starlette：不只是代码能运行，还需确实迁移并保留必要行为。SWE Refactor Bench包含20项任务、8模型/26配置，每配置每任务运行一次，按任务给6–30小时预算，总计520次。[SWE Refactor Bench](https://arxiv.org/html/2608.23564v1)

520次中，340次通过迁移审查，118次通过全部固定行为检查，88次同时满足前两项，28次再通过六个独立验证器；13/20任务没有任何配置全过。118和340是不同检查的计数，不是依次下降的漏斗。全关通过也只证明通过这套检查，不能证明所有可能输入都行为等价。[SWE Refactor Bench](https://arxiv.org/html/2608.23564v1)

SWE-Marathon另研究多小时工程的失败诊断，但其标签只覆盖清洗后部分失败与任务家族，不能外推到全部运行。本轮未直接重核该论文的具体失败比例，故不以筛选分母代替能力结果。[SWE-Marathon 原论文](https://www.swemarathon.org/swe-marathon-paper.pdf)

相邻研究及其条件，尚未验证本场景的完成率或收益。
对应材料：[SWE-Marathon 原论文](https://www.swemarathon.org/swe-marathon-paper.pdf)、[SWE Refactor Bench](https://arxiv.org/html/2608.23564v1)

### 浏览器Agent的提示注入风险

提示注入是网页等外部内容诱导Agent偏离用户目标。2025-11-24研究报告Claude Opus 4.5与当时Chrome扩展防护的组合，使用强化学习、不可信内容分类器和人工红队改善浏览器鲁棒性；内部自适应攻击者对每个环境最多尝试100次，仍约有1%攻击成功率。[提示注入防御研究](https://www.anthropic.com/research/prompt-injection-defenses)

这个数是指定模型与防护、内部攻击配置的测试，不是任意Agent或生产泄漏率。它说明防御已有改善，也说明攻击不能只靠模型自律解决；本页未复跑攻击与防御。[提示注入防御研究](https://www.anthropic.com/research/prompt-injection-defenses)

相邻研究及其条件，尚未验证本场景的完成率或收益。
对应材料：[提示注入防御研究](https://www.anthropic.com/research/prompt-injection-defenses)

### LaRA与LongMemEval分别测到什么

LaRA在2326道题、11个模型与小说、论文、财报语料上比较检索增强和长上下文。RAG设置使用600 token的分块、100 token重叠，结合GTE向量检索与BM25，取5块供模型回答。结果随任务、模型和材料长度变化；必须连同这些检索条件阅读，不能断言长窗口或检索总是更好。[LaRA](https://arxiv.org/abs/2502.09977)

同一GPT-4o、128k上下文行中，LaRA表2的推理题正确率为长上下文79.35%、RAG70.26%；无答案应拒答题则为长上下文56.34%、RAG67.33%。推理题含财报计算和人物关系，评判由GPT-4o判断答案正确性。这个例子说明两种方案在不同任务中各有优势，不是通用胜负。[LaRA](https://arxiv.org/abs/2502.09977)

LongMemEval用500题测试跨会话信息抽取、时间推理、事实更新与拒答。在LongMemEval_S约115k token历史、GPT-4o且未加CoN笔记步骤的条件下，图3b报告全历史输入为60.6%，直接给定相关会话的oracle为87.0%。这说明正确找到证据很重要；oracle已经移除检索难度，不是完整可部署系统的87%成功率。[LongMemEval](https://proceedings.iclr.cc/paper_files/paper/2025/file/d813d324dbf0598bbdc9c8e79740ed01-Paper-Conference.pdf)

相邻研究及其条件，尚未验证本场景的完成率或收益。
对应材料：[LaRA](https://arxiv.org/abs/2502.09977)、[LongMemEval](https://proceedings.iclr.cc/paper_files/paper/2025/file/d813d324dbf0598bbdc9c8e79740ed01-Paper-Conference.pdf)

### 这些研究怎样影响本场景（编辑推断）

长程工程研究显示基础设施故障、部分测试和完整变更要分开。诊断报告须保留复现和恢复后版本，不能将工具错误写成模型能力失败。

外部日志和网页可能含不可信指令。恢复动作需要原授权与查询能力，状态未知时不盲目重复操作。

检索与上下文的差异说明找到手册不等于适用。应核对当前软件版本、环境与故障条件，再试一个可逆恢复片段。

本场景应用推断；研究没有直接测量这份工作，幅度保持未知。
对应材料：

## 时间线

- 2026-10-13（条件推断建立 / 预测基准）：使用指定研究与当前任务标准提出场景判断，不是业务测量日。
  日期依据：本场景初始判断记录
- 2027-10-13（一年情景 / 目标日期）：固定故障类型可增加隔离复现和测试候选；人确认根因与现场限制。
  日期依据：从预测基准日起的一年检查点
- 2029-10-13（三年情景 / 目标日期）：对已验证的重复故障可形成监测—诊断—隔离修复链；新故障与真实系统恢复仍需工程师。
  日期依据：三年新增条件推断，不是原论文已经验证的结果

## 工作意义

先做下方最小试点，保存全部尝试和独立验收，再决定扩大范围。人承担的口径、接受与例外处理要具体记录。

### 后续观察

方向为条件推断，幅度未知；地区/语言/工具/人群不同不直接迁移。三年是本站条件推断的检查点，没有来源论文直接验证这个时间跨度。

## 证明材料

### SWE-Marathon 原论文

[SWE-Marathon 原论文](https://www.swemarathon.org/swe-marathon-paper.pdf)；类别：原始研究或机构项目说明；状态：active
支持：多小时工程诊断的研究范围与清洗后失败分母；不据此给出全运行失败标签比例。 对本场景仅提供相邻研究与验收参考。
定位：SWE-Marathon论文的诊断范围、失败筛选与任务家族说明；本轮未直接重核正文。
沿原文核对清洗条件与诊断覆盖，再使用任何标签比例。
原始发布：未知；修订：未提取；未从二进制资料猜测发布日期
继承原报告，未把本轮未读论文说成直接原文核验。
2026-10-14书目信息，非实验复验。

### SWE Refactor Bench

[SWE Refactor Bench](https://arxiv.org/html/2608.23564v1)；类别：研究预印本；状态：active
支持：20任务/26配置/520运行；迁移、固定行为与独立验证分别检查的结果计数。 对本场景仅提供相邻研究与验收参考。
定位：论文v1 §2.2/表1（任务预算）；§3.1（指标定义）；§3.2/表2（计数）。
Migrated与Meets Specification不是递减漏斗；88是二者交集，28是全部检查。
原始发布：2026-08-24；修订：未提取；arXiv v1提交记录；稿内其他日期不冒作修订日
指定任务与混合配置，不是某一模型通用成绩；全部检查通过不保证所有行为等价。
2026-10-14书目信息，非实验复验。

### Mitigating prompt injections in browser use

[提示注入防御研究](https://www.anthropic.com/research/prompt-injection-defenses)；类别：原始研究或机构项目说明；状态：active
支持：Opus4.5/当时Chrome防护组合、100次自适应尝试和约1%攻击成功率。 对本场景仅提供相邻研究与验收参考。
定位：Claude’s progress on browser use robustness及图注。
核对采集期、分母和处理路线；计数与攻击成功率各有不同适用范围。
原始发布：2025-11-24；修订：未提取；原始页面元数据 article:published_time
继承指定研究的核验与配置范围，本次未重新复跑原始实验；文献独立家族未知。
2026-10-14书目信息，非实验复验。

### LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing

[LaRA](https://arxiv.org/abs/2502.09977)；类别：研究预印本；状态：active
支持：指定GPT-4o/128k行的推理与拒答结果，以及RAG检索配置；任务不同有不同优势。 对本场景仅提供相邻验收参考。
定位：v2 §3.2（题型）、§3.4（答案判分）、§4.1（配置）、§4.2/表2（模型与结果）。
先确定问题类型与检索器，再比较各模型；不同条件不可拼成统一提升。
原始发布：2025-02-14；修订：2025-03-05；arXiv首稿记录
研究比较设置，不是金融业务部署或独立复验。
2026-10-14书目信息，非实验复验。

### LongMemEval

[LongMemEval](https://proceedings.iclr.cc/paper_files/paper/2025/file/d813d324dbf0598bbdc9c8e79740ed01-Paper-Conference.pdf)；类别：原始研究或机构项目说明；状态：active
支持：LongMemEval_S、GPT-4o、不加CoN时0.606/0.870对照及五类长期记忆能力。 对本场景仅提供相邻研究与验收参考。
定位：§3.4、图3b（印刷第6页）；相关数据与历史长度说明。
区分全历史输入与直接提供正确相关会话；oracle排除了检索困难。
原始发布：未知；修订：未提取；未从二进制资料猜测发布日期
作者评测结果；本页未重跑，不能把oracle当完整系统成绩。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-13。场景适配与未来情景为编辑推断，实际三个份额保持未知。

## 适用范围与当前边界
授权日志和副本，恢复权限与状态查询已界定；不默认接客户生产。
可以整理授权日志和提出故障假设；必须复现、检验修复并确认系统实际恢复，本站尚无现场成功率。
方向为条件推断，幅度未知；地区/语言/工具/人群不同不直接迁移。三年是本站条件推断的检查点，没有来源论文直接验证这个时间跨度。
实际技术可委派、实际委派和净人时变化：未知。

## 一年 2027-10-13
- 保守：整理日志与提出假设，工程师负责复现、修复与恢复确认。
- 基准：固定故障类型可增加隔离复现和测试候选；人确认根因与现场限制。
- 上行：同类留出故障连续通过时可扩大诊断；涉及未知影响或状态不明即停并保留记录。

## 三年 2029-10-13
- 保守：环境变化使复现经常失败，主要仍辅助信息整理。
- 基准：对已验证的重复故障可形成监测—诊断—隔离修复链；新故障与真实系统恢复仍需工程师。
- 上行：跨版本复现、回归、恢复和净人时持续改善后，可扩到更多受限故障；必须保留接管与审计。

## 上调与下调
上调：
- 同预算独立留出的质量、依赖与最终状态通过
- 复核返工维护后的合格交付全成本改善
- 真实接收者持续接受，过程约束与恢复通过
下调：
- 资料冲突、来源撤回或独立验收失败
- 越权泄漏、重复副作用或状态不明
- 复核返工增加、接收失败或净成本不改善

## 工作重组
可能减少：聚合授权日志和复现步骤；提出局部修复候选与测试说明
仍需由人负责：排除错误根因和评估现场影响；确认真实系统恢复、处理未知故障
可能新增：诊断环境和日志/软件版本维护；回滚、接管和重复故障监测

## 最小试点

输入：
- 冻结日志、软件/配置版本与系统规格
- 可重复的副本故障和预期正常状态
- 恢复权限、状态查询与回滚边界
步骤：
- 从日志提取故障现象并在授权副本复现
- 提出限定根因与获准恢复步骤，状态不明时先查询不重复执行
- 核对恢复后的实际终态和回归，记录原操作、失败、回滚与接收
验收：
- 根因有复现或可复核证据，推测明确标注
- 恢复后的版本和实际状态满足系统规格
- 禁止越权、泄漏或重复副作用，生产与副本结果不混淆
停止：关键证据/权限缺失或独立验收失败时，停依赖步骤，保留产物交回责任人。
负责人确认与现场动作要有真实记录；网页不是执行授权。

## 依据与任务
- /frontier/advances/ADV08.md?version=2026-10-16.1
- /frontier/advances/ADV12.md?version=2026-10-16.1
- /frontier/advances/ADV05.md?version=2026-10-16.1
- /work-tasks/FDE-20950.md（任务版本单独从manifest读取）
- /work-tasks/FDE-3478.md（任务版本单独从manifest读取）


## 本地回执
记录实际输入/环境/配置/授权、产物路径、全部尝试、逐项验收、最终状态、人的介入和人时、未知与恢复。默认不上传，不生成成功率或个人能力分。

## 修订
2026-10-13 2026-10-13.1：基于现有研究建立初始推断，无实际百分比
2026-10-13 2026-10-13.2：补齐具体主张对应原始来源；条件判断和实际未知保持
2026-10-13 2026-10-13.3：公开修订时间与预测基准分离，补齐审核/输出一致性；条件推断与实际未知不变
2026-10-13 2026-10-13.4：按具体场景补齐输入、动作和独立验收；实际比例与净收益仍未知
2026-10-14 2026-10-14.1：补概念、证据推断链与日期口径，原预测基准与实际未知不变
2026-10-14 2026-10-14.6：按逐页原文审阅更正研究条件与定位，区分适配推断并补场景化一年/三年；基准日及实际未知不变
2026-10-14 2026-10-14.8：独立复核补LaRA任务对照、分开知识对象两个测试及其分母；情景基准与实际未知不变
2026-10-14 2026-10-14.12：按场景具体写明缩减/保留/新增工作；中文解释合成演算输入、变量与复算，不改变真实未知状态