# 模型架构与硬件协同

前沿版本：2026-10-16.1；领域F02

## 概念与例子：模型结构怎样与硬件一起影响效率

模型架构决定信息怎样在神经网络中流动，硬件决定这些计算与数据搬运要花多久。注意力、状态空间模型和专家混合等结构常被组合使用，以改善长文档处理或降低部分计算量。

例如模型读一份很长的合同再回答问题：注意力能回看相关条款，状态空间层则把此前的信息压进不断更新的紧凑状态。混合结构在详细回看和节省记忆之间取舍；还要考虑权重装载、显存和设备通信，因此减少某一段计算不保证整次请求更快。

- MoE专家混合：每个token只调用部分专家，但全部权重仍需要存储或调度。
- 状态空间层：把先前读到的信息压入一个持续更新的状态；占用较紧凑，但可能丢失需要详细回看的关系。
- KV缓存：生成过程中保存已读内容的中间状态，减少重复计算但占用内存。
- 预填充：模型先读取输入材料并建立中间状态。
- 解码：读入后逐步生成回答。
- 压缩稀疏注意力（CSA）：压缩已读内容的KV缓存，再选择部分位置参与注意力计算。
- 高度压缩注意力（HCA）：将KV缓存压得更紧凑，再对压缩后内容使用密集注意力；并非和CSA同样的稀疏计算。

## 具体进展

### Jamba-1.5：用混合结构减小长文档缓存

ICLR 2025会议论文讨论Jamba-1.5-Mini和Large，将注意力、Mamba状态空间层与MoE交替使用。在256K token、16位缓存口径下，表1给出Mini的KV缓存4GB、Large为9GB；对照中Llama-3.1-70B为80GB。这只是缓存占用对照，模型大小与能力并不相同，不能理解为整台机器内存同比例减少。[Jamba论文](https://proceedings.iclr.cc/paper_files/paper/2025/file/a9ed43fa31dc8b4a7d7a673d713dcb5f-Paper-Conference.pdf)

论文说明Large的总参数398B、每token激活94B，使用ExpertsInt8把部分权重以8位存储、计算时恢复BF16，使其在8张80GB GPU的机器上服务256K上下文。这里的256K是文本单位数量，不是同等长度中文字符，也不表示所有长文任务都正确；结果是作者披露，未由本站复验。[Jamba论文](https://proceedings.iclr.cc/paper_files/paper/2025/file/a9ed43fa31dc8b4a7d7a673d713dcb5f-Paper-Conference.pdf)

作者会议论文的配置与缓存报告；不是同质量全成本对照
对应材料：[Jamba论文](https://proceedings.iclr.cc/paper_files/paper/2025/file/a9ed43fa31dc8b4a7d7a673d713dcb5f-Paper-Conference.pdf)

### DeepSeek-V4：压缩注意力与两种模型配置

DeepSeek-V4模型卡区分Pro和Flash：前者总参数1.6T、激活49B，后者总参数285B、激活13B；标称上下文1M token。它把压缩稀疏注意力CSA与更重压缩后仍用密集注意力的HCA组合，目标是改善长序列处理。[V4模型卡](https://fe-static.deepseek.com/chat/transparency/deepseek-V4-model-card-EN.pdf)

这份模型卡支持版本、结构与规模披露，但没有同硬件吞吐、能耗或服务总费用对照。激活参数较少也不等于只需存这些参数：所有专家权重仍需存储或调度，长上下文缓存和跨设备通信也占资源。[V4模型卡](https://fe-static.deepseek.com/chat/transparency/deepseek-V4-model-card-EN.pdf)

厂商模型卡的结构声明；性能与经济效果未由本卡量化验证
对应材料：[V4模型卡](https://fe-static.deepseek.com/chat/transparency/deepseek-V4-model-card-EN.pdf)

## 时间线

- 2024-03-28（预印本首稿 / 日期）：Jamba: A Hybrid Transformer-Mamba Language Model 首次提交。
  日期依据：arXiv v1日期（UTC）；对应预印本
- 2024-08-22（预印本首稿 / 日期）：Jamba-1.5: Hybrid Transformer-Mamba Models at Scale 首次提交。
  日期依据：arXiv v1日期（UTC）；对应预印本
- 2025（会议论文版本 / 年份）：Jamba的ICLR 2025会议版本讨论Jamba-1.5；不是该架构首次公开。
  日期依据：2026-10-13研究报告第2模块；本次未把未披露日期补成精确日期
- 2026-04-24（模型发布 / 日期）：模型卡的Release date标记DeepSeek-V4发布。
  日期依据：模型卡 General Information；原文日期标签
- 2026-04-27（模型卡文档发布 / 日期）：封面Publication date；同时标Updated date为2026-04-24，更新早于发布的顺序按原文保留，不自行校正。
  日期依据：PDF封面 Publication date 与 Updated date
- 2026-10-13（研究材料范围 / 资料截止）：这份研究摘要的资料范围，不是上述事件统一发生的日期。
  日期依据：原研究报告事实范围

## 工作意义

应用建议（编辑推断）：自托管长文档问答时，分别看输入读完要多久、回答生成速度、峰值显存、能同时服务多少人，以及回答质量。API使用者更适合比较自己任务的实际延迟、质量和价格；架构名称本身不能替代这些测量。

### 后续观察

后续最有价值的证据是：独立团队固定任务、质量和请求负载，同时记录预填充、解码、显存、通信、能耗与总费用，判断这些设计是否能在实际服务中持续提速或降本。并发增加后，质量和等待时间如何变化也要一起看。

## 证明材料

### Jamba论文

[Jamba论文](https://proceedings.iclr.cc/paper_files/paper/2025/file/a9ed43fa31dc8b4a7d7a673d713dcb5f-Paper-Conference.pdf)；类别：ICLR 2025会议论文：作者配置实验；状态：active
支持：Jamba-1.5混合结构、指定256K/16位缓存占用与ExpertsInt8部署条件。
定位：§2/图1（结构）；§3/表1（参数和缓存）；§4.1（ExpertsInt8与GPU条件）。
先看表1区分总参数、激活参数和KV缓存，再看§4.1的量化配置。
原始发布：未知；修订：未提取；未从二进制资料猜测发布日期
作者团队指定模型与设备结果，不是同质量跨模型成本实验或独立复验。
2026-10-14书目信息，非实验复验。

### V4模型卡

[V4模型卡](https://fe-static.deepseek.com/chat/transparency/deepseek-V4-model-card-EN.pdf)；类别：厂商模型卡；状态：active
支持：Pro/Flash版本、CSA/HCA结构、标称上下文与参数；模型与文档日期。
定位：PDF第1页封面、第2页General Information、第3页Model properties。
对照CSA和HCA分别压缩什么；留意参数与缓存不是同一个量。
原始发布：2026-04-27；修订：2026-04-24；封面文档发布/更新；模型Release date为2026-04-24。更新早于发布按原文保留。
厂商模型卡；没有所讨论的同硬件吞吐、能耗或完整服务费用对照。
2026-10-14书目信息，非实验复验。

### Jamba: A Hybrid Transformer-Mamba Language Model

[Jamba: A Hybrid Transformer-Mamba Language Model](https://arxiv.org/abs/2403.19887)；类别：研究预印本：书目与版本记录；状态：active
支持：对应版本的首次公开日期；不将其结果与会议版合并。
定位：arXiv 摘要页的 Submission history。
核对题名与v1时间；版本不同的实验结果需另读正文。
原始发布：2024-03-28；修订：未提取；arXiv Submission history（UTC原始记录）；独立审阅实际读取
只读摘要与版本日期，不是实验复验。
2026-10-14书目信息，非实验复验。

### Jamba-1.5: Hybrid Transformer-Mamba Models at Scale

[Jamba-1.5: Hybrid Transformer-Mamba Models at Scale](https://arxiv.org/abs/2408.12570)；类别：研究预印本：书目与版本记录；状态：active
支持：对应版本的首次公开日期；不将其结果与会议版合并。
定位：arXiv 摘要页的 Submission history。
核对题名与v1时间；版本不同的实验结果需另读正文。
原始发布：2024-08-22；修订：未提取；arXiv Submission history（UTC原始记录）；独立审阅实际读取
只读摘要与版本日期，不是实验复验。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-13。概念解释与既有研究展开；元数据访问不是原始实验复验。

阶段：研究验证与公开模型架构：论文及厂商模型卡披露了混合架构和稀疏注意力设计，但缺少同质量、同硬件、同负载的独立成本对照，广泛部署收益未明。
前沿暂难判断；转化暂难判断；信心低。定性判断不是职业自动化率。