# 推理服务与成本

前沿版本：2026-10-16.1；领域F04

## 概念与例子：AI执行一次合格任务到底要花多少钱

推理是模型处理输入并生成输出的过程。量化、缓存、批处理和推测解码可以改变推理速度与资源占用，但用户最终购买的是合格交付，不是便宜的token。

如果一个方案每次调用便宜一半，却需要更多重试和人工修正，完成同一份报告的总费用可能更高。应比较相同质量和业务量下的完整流程，而不是把多个论文的加速倍数相乘。

- 量化：降低数值精度以减少存储与带宽需求，可能伴随质量变化。
- 推测解码：先生成候选token，再由主模型验证，收益取决于候选接受率。
- 首token延迟：请求发出到开始收到回答的等待，和总吞吐量不是一个指标。

## 具体进展

### 草稿生成与主模型验证：EAGLE的系统结果

推测解码先产生一段候选文本，再让主模型一起验证，减少逐token等待。候选可以有多个分支，因此草稿命中率、验证开销和设备都影响速度。Meta报告的系统结合EAGLE草稿机制，在Llama4 Maverick、单请求批量为1、8张H100条件下达到约4毫秒/token；这是作者披露的解码速度。[EAGLE研究](https://arxiv.org/abs/2508.08192)

作者系统报告；解码指标不等于业务任务全费用
对应材料：[EAGLE研究](https://arxiv.org/abs/2508.08192)

### HierSpec：让量化与推测解码协同

4位权重量化能减少搬运量，但验证多个候选分支又会增加计算。HierSpec加入一个8B中间模型，把树状草稿转换成一条候选序列，再交给量化主模型验证，减少这两种优化之间的冲突。[量化与推测解码研究](https://arxiv.org/abs/2505.22179)

论文v2在W4A16的Llama-3-70B、单张80GB A100、SpecBench六类任务下，报告平均98.19 token/s，对照普通自回归为35.28 token/s，约2.78倍。W4A16指4位权重、16位激活；该解码计时排除了草稿模型预填充，且收益更适合长输出。它没有证明完整请求或合格业务任务便宜2.78倍。[量化与推测解码研究](https://arxiv.org/abs/2505.22179)

作者指定量化配置实验；未由本站复跑
对应材料：[量化与推测解码研究](https://arxiv.org/abs/2505.22179)

## 时间线

- 2025-05-28（论文/项目页面发布 / 日期）：量化与推测解码研究的原始发布记录；不代表实验在该日完成
  日期依据：arXiv首稿记录
- 2025-05-29（论文修订 / 日期）：量化与推测解码研究的版本修订，应按对应版本读取结论
  日期依据：原始页面修订记录
- 2025-08-11（论文/项目页面发布 / 日期）：EAGLE研究的原始发布记录；不代表实验在该日完成
  日期依据：arXiv首稿记录
- 2026-10-13（研究材料范围 / 资料截止）：这份研究摘要的资料范围，不是上述事件统一发生的日期。
  日期依据：原研究报告事实范围

## 工作意义

应用建议（编辑推断）：做会议纪要或报告时，先计每份被验收产物的总费用，包括检索、重试、工具调用、人工修订和维护。解码快了，但如果事实错误导致人反复改稿，完整任务未必更便宜。

自托管团队应固定模型质量、上下文、并发与输出长度再比较优化。上述论文提供系统机制和指定配置结果，没有测客户节省、需求变化或本站任务的净人时。

### 后续观察

推理栈可能继续在指定模型和硬件上组合量化、缓存与推测解码。若第三方在固定质量与负载下重复观察到每个合格任务总费用下降，并报告尾延迟、能耗、失败重试、质量退化后的人工修正和运维，才支持上调；还需观察并发变化与端侧热稳态。

## 证明材料

### Efficient Speculative Decoding for Llama at Scale: Challenges and Solutions

[EAGLE研究](https://arxiv.org/abs/2508.08192)；类别：研究预印本；状态：active
支持：EAGLE草稿/验证机制、Llama4 Maverick指定配置约4ms/token的解码表现。
定位：论文v1 §1、图4及§3.5（模型、设备、批量与上下文条件）。
速度连同批量1和8张H100阅读；不当作整项工作费用。
原始发布：2025-08-11；修订：未提取；arXiv首稿记录
Meta系统报告；原文只读核对，未独立复验或测本站任务成本。
2026-10-14书目信息，非实验复验。

### Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design

[量化与推测解码研究](https://arxiv.org/abs/2505.22179)；类别：研究预印本；状态：active
支持：量化与树状验证的冲突、HierSpec中间模型与指定条件的2.78倍解码结果。
定位：论文v2 §3.3、§4.1–4.3和表2。
先看§4.1配置，再看表2基线与§4.2中排除的预填充时间。
原始发布：2025-05-28；修订：2025-05-29；arXiv首稿记录
指定量化配置和解码计时；不包含完整请求、业务验收与人工返工成本。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-13。概念解释与既有研究展开；元数据访问不是原始实验复验。

阶段：研究验证：推测解码和量化兼容性已在指定模型、加速器与实现中测试，但跨服务商、并发负载和端侧稳态的全成本变化没有共同序列。
前沿暂难判断；转化暂难判断；信心低。定性判断不是职业自动化率。