增长内容与效果复盘

# 增长内容与效果复盘

前沿版本：2026-10-16.1；场景：growth-review
规划基准日：2026-10-13；下次复核：2027-01-13
首次整理/公开：2026-10-13；证据截止：2026-10-13；本次编辑：2026-10-13。规划锚点不代表新增情景当时已经存在。
证据状态：active


## 概念与例子：把内容与效果数据接成有证据的复盘

增长复盘需要同口径活动数据、公开资料和明确归因窗口。AI可以搜集、计算与起草，但生成量、触达数、留存与回款代表不同结果。

例如活动后销售上升，同时可能有价格调整和季节变化。没有对照时可提出假设与下一次实验，不能把全部变化归因AI内容或渠道策略。

- 技术可委派：在给定输入、工具与质量门槛下，执行部分可交给AI。
- 实际委派：组织已经接入流程并真实采用，和技术上能做不同。
- 净人时：同工作量同质量下，计入准备、复核、返工、接管和维护后的人员时间变化。
- 生产率：在明确投入和产出下衡量效率，不等于生成数量。
- 全成本：模型、工具、人员、维护与经营固定支出共同核算。
- CRM：管理客户、采购或沟通记录的系统，是经营Agent周边流程的一部分。

## 具体进展

### 从提交到发布和企业收益的损耗

NBER现行2026年9月修订摘要的观察研究涵盖超过50万GitHub开发者，估计三代工具的累计提交增幅约240%、项目约80%、最终发布约30%。作者6月解说是较早版本，不能混用数字。提交增加不等于都变成可发布成果；采用选择与比较时间窗仍影响解释。[GitHub产出链](https://www.nber.org/papers/w35275)

四国近6000名高管调查中，69%企业主动使用AI，超80%称过去三年没感到就业或生产率影响；这是自报感受，不能替代经营核算。[企业调查](https://www.nber.org/papers/w34836)

BIS欧企研究以一种比较方法估计采用对应短期劳动生产率水平高4%，集中中大型企业；方法依赖同业采用可帮助区分效果的假设，不是无条件因果定律。流程、审核和人员知识会影响收益是否被组织接收。[企业生产率研究](https://www.bis.org/publications/working-paper-1325-ai-adoption-productivity-and-employment-evidence-european-firms)

相邻研究及其条件，尚未验证本场景的完成率或收益。
对应材料：[GitHub产出链](https://www.nber.org/papers/w35275)、[企业调查](https://www.nber.org/papers/w34836)、[企业生产率研究](https://www.bis.org/publications/working-paper-1325-ai-adoption-productivity-and-employment-evidence-european-firms)

### 模拟商店与真实经营试点

Vending-Bench2让Agent在模拟中采购、谈判并管理售货库存：500美元起始余额、每天2美元费用，模拟一年后按账户余额评分。一年不是现实运行时长，期末余额也不是完整公司利润，成绩依赖环境规则与模型配置。[Vending-Bench 2](https://andonlabs.com/evals/vending-bench-2)

Project Vend二期是真实商店尝试：Sonnet3.7换至4.0/4.5，同时增加CRM、可见进货成本与采购核查流程，项目报告负利润周大幅减少。但付款确认、补货和异常救场仍靠人，不能把改善归因于单一模型升级或叫全成本盈利。[Project Vend](https://www.anthropic.com/research/project-vend-2)

原报告另记Andon Café约两个月亏损5600美元、未计房租和工资；本轮未重核其账目，不能与商店试点拼成模型收益增长曲线。[Andon Café](https://andonlabs.com/blog/why-gemini-lost-money-andon-cafe)

相邻研究及其条件，尚未验证本场景的完成率或收益。
对应材料：[Vending-Bench 2](https://andonlabs.com/evals/vending-bench-2)、[Project Vend](https://www.anthropic.com/research/project-vend-2)、[Andon Café](https://andonlabs.com/blog/why-gemini-lost-money-andon-cafe)

### LaRA与LongMemEval分别测到什么

LaRA在2326道题、11个模型与小说、论文、财报语料上比较检索增强和长上下文。RAG设置使用600 token的分块、100 token重叠，结合GTE向量检索与BM25，取5块供模型回答。结果随任务、模型和材料长度变化；必须连同这些检索条件阅读，不能断言长窗口或检索总是更好。[LaRA](https://arxiv.org/abs/2502.09977)

同一GPT-4o、128k上下文行中，LaRA表2的推理题正确率为长上下文79.35%、RAG70.26%；无答案应拒答题则为长上下文56.34%、RAG67.33%。推理题含财报计算和人物关系，评判由GPT-4o判断答案正确性。这个例子说明两种方案在不同任务中各有优势，不是通用胜负。[LaRA](https://arxiv.org/abs/2502.09977)

LongMemEval用500题测试跨会话信息抽取、时间推理、事实更新与拒答。在LongMemEval_S约115k token历史、GPT-4o且未加CoN笔记步骤的条件下，图3b报告全历史输入为60.6%，直接给定相关会话的oracle为87.0%。这说明正确找到证据很重要；oracle已经移除检索难度，不是完整可部署系统的87%成功率。[LongMemEval](https://proceedings.iclr.cc/paper_files/paper/2025/file/d813d324dbf0598bbdc9c8e79740ed01-Paper-Conference.pdf)

相邻研究及其条件，尚未验证本场景的完成率或收益。
对应材料：[LaRA](https://arxiv.org/abs/2502.09977)、[LongMemEval](https://proceedings.iclr.cc/paper_files/paper/2025/file/d813d324dbf0598bbdc9c8e79740ed01-Paper-Conference.pdf)

### 这些研究怎样影响本场景（编辑推断）

产出链研究提示生成量与最终收益之间存在损耗。复盘要记录真实采用、接受和业务结果，而不是仅计内容和触达。

真实经营与模拟余额的差别提示预算、人工投入、租金工资与客户反馈不能省略；本场景仍需自己的真实效果数据。

检索评测提供资料准备的机制参考。竞品价格或策略会变化，复盘需要公开原始页及取数日期，不能凭模型记忆断言现状。

本场景应用推断；研究没有直接测量这份工作，幅度保持未知。
对应材料：

## 时间线

- 2026-09（依据版本 / 月份）：产出链数值取NBER现行九月修订摘要，不与六月解说混用。
  日期依据：NBER Revision Date
- 2026-10-13（条件推断建立 / 预测基准）：使用指定研究与当前任务标准提出场景判断，不是业务测量日。
  日期依据：本场景初始判断记录
- 2027-10-13（一年情景 / 目标日期）：固定指标和可复算实验结果更可整理；人分清模型、流程及市场因素。
  日期依据：从预测基准日起的一年检查点
- 2029-10-13（三年情景 / 目标日期）：跨周期对照与接收可靠后，可扩大指标整理和假设追踪；经营决策仍需负责人确认。
  日期依据：三年新增条件推断，不是原论文已经验证的结果

## 工作意义

先做下方最小试点，保存全部尝试和独立验收，再决定扩大范围。人承担的口径、接受与例外处理要具体记录。

### 后续观察

方向为条件推断，幅度未知；地区/语言/工具/人群不同不直接迁移。三年是本站条件推断的检查点，没有来源论文直接验证这个时间跨度。

## 证明材料

### Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools

[GitHub产出链](https://www.nber.org/papers/w35275)；类别：观察研究工作论文：2026-09修订摘要；状态：active
支持：NBER现行2026-09修订摘要的>50万开发者及提交/项目/发布产出链；观察关联而非统一因果提效。 对本场景仅为相邻研究参考。
定位：NBER landing现行Abstract；Issue Date/Revision Date；非作者6月旧版解说。
使用9月修订摘要数字；发行月/修订月与citation元数据日分开，未取得完整实验或成本对照。
原始发布：2026-05（NBER发行月份）；修订：2026-09（本页采用的修订月份）；NBER可见Issue Date为2026-05、Revision Date为2026-09；citation元数据2026-06-01不是确认的首次发布日期
有限读取现行摘要和版本标签；未复跑研究或核对全部正文。
2026-10-14书目信息，非实验复验。

### Firm Data on AI

[企业调查](https://www.nber.org/papers/w34836)；类别：原始研究或机构项目说明；状态：active
支持：用于说明：从提交到发布和企业收益的损耗 对本场景仅提供相邻研究与验收参考。
定位：对应研究的摘要/任务与结果说明；本轮未重核全文，结论继承原报告。
核对采用分配、人群、期间与测量方法；未将未读材料写成直接复验。
原始发布：2026-02-16；修订：未提取；原始页面元数据 citation_publication_date
继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。
2026-10-14书目信息，非实验复验。

### AI adoption, productivity and employment: evidence from European firms

[企业生产率研究](https://www.bis.org/publications/working-paper-1325-ai-adoption-productivity-and-employment-evidence-european-firms)；类别：原始研究或机构项目说明；状态：active
支持：用于说明：从提交到发布和企业收益的损耗 对本场景仅提供相邻研究与验收参考。
定位：对应研究的摘要/任务与结果说明；本轮未重核全文，结论继承原报告。
核对采用分配、人群、期间与测量方法；未将未读材料写成直接复验。
原始发布：2026-01-23；修订：未提取；原始页面元数据 citation_publication_date
继承指定研究的核验与配置范围，本次未重新复跑原始实验；文献独立家族未知。
2026-10-14书目信息，非实验复验。

### Vending-Bench 2 | Andon Labs

[Vending-Bench 2](https://andonlabs.com/evals/vending-bench-2)；类别：原始研究或机构项目说明；状态：active
支持：500美元/2美元每日费用/模拟一年及期末余额评分。 对本场景仅提供相邻研究与验收参考。
定位：How Vending-Bench works、System prompt。
核对模拟规则、真实费用和人类投入；余额、利润、现金节省不是同一个指标。
原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知
继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。
2026-10-14书目信息，非实验复验。

### Project Vend: Phase two

[Project Vend](https://www.anthropic.com/research/project-vend-2)；类别：原始研究或机构项目说明；状态：active
支持：Sonnet/工具/流程共同变化与负利润周改善，仍有人力依赖。 对本场景仅提供相邻研究与验收参考。
定位：The numbers、Tools、RAG to riches?及人类付款/补货说明。
核对模拟规则、真实费用和人类投入；余额、利润、现金节省不是同一个指标。
原始发布：2025-12-18；修订：未提取；原始页面元数据 article:published_time
继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。
2026-10-14书目信息，非实验复验。

### Why Gemini 3.1 Pro lost money running Andon Café | Andon Labs

[Andon Café](https://andonlabs.com/blog/why-gemini-lost-money-andon-cafe)；类别：原始研究或机构项目说明；状态：active
支持：用于说明：模拟商店与真实经营试点 对本场景仅提供相邻研究与验收参考。
定位：该经营记录、模拟或采购研究的结果说明；本轮未重核全部原文。
结果继承既有报告；未取得账目或完整成本时，不新增ROI结论。
原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知
继承指定研究的核验与配置范围，本次未重新复跑原始实验；文献独立家族未知。
2026-10-14书目信息，非实验复验。

### LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing

[LaRA](https://arxiv.org/abs/2502.09977)；类别：研究预印本；状态：active
支持：指定GPT-4o/128k行的推理与拒答结果，以及RAG检索配置；任务不同有不同优势。 对本场景仅提供相邻验收参考。
定位：v2 §3.2（题型）、§3.4（答案判分）、§4.1（配置）、§4.2/表2（模型与结果）。
先确定问题类型与检索器，再比较各模型；不同条件不可拼成统一提升。
原始发布：2025-02-14；修订：2025-03-05；arXiv首稿记录
研究比较设置，不是金融业务部署或独立复验。
2026-10-14书目信息，非实验复验。

### LongMemEval

[LongMemEval](https://proceedings.iclr.cc/paper_files/paper/2025/file/d813d324dbf0598bbdc9c8e79740ed01-Paper-Conference.pdf)；类别：原始研究或机构项目说明；状态：active
支持：LongMemEval_S、GPT-4o、不加CoN时0.606/0.870对照及五类长期记忆能力。 对本场景仅提供相邻研究与验收参考。
定位：§3.4、图3b（印刷第6页）；相关数据与历史长度说明。
区分全历史输入与直接提供正确相关会话；oracle排除了检索困难。
原始发布：未知；修订：未提取；未从二进制资料猜测发布日期
作者评测结果；本页未重跑，不能把oracle当完整系统成绩。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-13。场景适配与未来情景为编辑推断，实际三个份额保持未知。

## 适用范围与当前边界
授权活动记录、口径与公开资料；无默认发布/联系客户授权。
可以整理经营数据与假设；归因、完整成本和下一步决策仍需负责人核对，现有经营模拟不是本站收益预测。
方向为条件推断，幅度未知；地区/语言/工具/人群不同不直接迁移。三年是本站条件推断的检查点，没有来源论文直接验证这个时间跨度。
实际技术可委派、实际委派和净人时变化：未知。

## 一年 2027-10-13
- 保守：辅助汇总与写假设，负责人核对归因与成本。
- 基准：固定指标和可复算实验结果更可整理；人分清模型、流程及市场因素。
- 上行：有合适对照且完整成本改善时，可增加实验复盘草稿；不由模拟余额直接扩大经营授权。

## 三年 2029-10-13
- 保守：资料更多但归因不清，省写作时间未改善经营判断。
- 基准：跨周期对照与接收可靠后，可扩大指标整理和假设追踪；经营决策仍需负责人确认。
- 上行：真实质量、净人时和可兑现价值均有持续证据后，可扩到有限分析链；环境变化需回退重新估计。

## 上调与下调
上调：
- 同预算独立留出的质量、依赖与最终状态通过
- 复核返工维护后的合格交付全成本改善
- 真实接收者持续接受，过程约束与恢复通过
下调：
- 资料冲突、来源撤回或独立验收失败
- 越权泄漏、重复副作用或状态不明
- 复核返工增加、接收失败或净成本不改善

## 工作重组
可能减少：整理业务数据、复算固定指标；收集公开材料和复盘草稿
仍需由人负责：判断因果归因与完整成本；决定实验优先级、确认经营结果
可能新增：维护分组与假设版本和失败记录；跟踪采用/接收与可兑现收益，校准下一轮

## 最小试点

输入：
- 授权的活动记录、指标定义与归因窗口
- 公开竞品资料及原始价格/策略页面
- 复盘目标、预算基线与发布/客户联系范围
步骤：
- 核对活动数据口径和资料版本，保留缺失及异常
- 计算同口径效果指标，再审查混杂、选择偏差和对照缺口
- 形成有出处的复盘/内容草稿与下一次试验建议，策略和外部承诺另确认
验收：
- 指标能复算，统计期间、分母与来源明确
- 相关性不写成因果收益，触达/生成量不当回款或留存
- 未授权不发布或联系客户，未发生承诺与实际业务结果不模拟
停止：关键证据/权限缺失或独立验收失败时，停依赖步骤，保留产物交回责任人。
负责人确认与现场动作要有真实记录；网页不是执行授权。

## 依据与任务
- /frontier/advances/ADV04.md?version=2026-10-16.1
- /frontier/advances/ADV05.md?version=2026-10-16.1
- /frontier/advances/ADV24.md?version=2026-10-16.1
- /frontier/advances/ADV26.md?version=2026-10-16.1
- /work-tasks/GROW-5438.md（任务版本单独从manifest读取）
- /work-tasks/GROW-5441.md（任务版本单独从manifest读取）


## 本地回执
记录实际输入/环境/配置/授权、产物路径、全部尝试、逐项验收、最终状态、人的介入和人时、未知与恢复。默认不上传，不生成成功率或个人能力分。

## 修订
2026-10-13 2026-10-13.1：基于现有研究建立初始推断，无实际百分比
2026-10-13 2026-10-13.2：补齐具体主张对应原始来源；条件判断和实际未知保持
2026-10-13 2026-10-13.3：公开修订时间与预测基准分离，补齐审核/输出一致性；条件推断与实际未知不变
2026-10-13 2026-10-13.4：按具体场景补齐输入、动作和独立验收；实际比例与净收益仍未知
2026-10-14 2026-10-14.1：补概念、证据推断链与日期口径，原预测基准与实际未知不变
2026-10-14 2026-10-14.6：按逐页原文审阅更正研究条件与定位，区分适配推断并补场景化一年/三年；基准日及实际未知不变
2026-10-14 2026-10-14.8：独立复核补LaRA任务对照、分开知识对象两个测试及其分母；情景基准与实际未知不变
2026-10-14 2026-10-14.12：按场景具体写明缩减/保留/新增工作；中文解释合成演算输入、变量与复算，不改变真实未知状态