训练与系统机制
Jamba-1.5展示了混合结构怎样降低长文档缓存需求；DeepSeek-V4披露了另一种压缩注意力路线。二者的参数、硬件与质量条件不同，不能直接比较成行业提速。
整理 2026-10-14 · 研究材料截至 2026-10-13
先理解研究对象
模型架构决定信息怎样在神经网络中流动，硬件决定这些计算与数据搬运要花多久。注意力、状态空间模型和专家混合等结构常被组合使用，以改善长文档处理或降低部分计算量。
例如模型读一份很长的合同再回答问题：注意力能回看相关条款，状态空间层则把此前的信息压进不断更新的紧凑状态。混合结构在详细回看和节省记忆之间取舍；还要考虑权重装载、显存和设备通信，因此减少某一段计算不保证整次请求更快。
ICLR 2025会议论文讨论Jamba-1.5-Mini和Large，将注意力、Mamba状态空间层与MoE交替使用。在256K token、16位缓存口径下，表1给出Mini的KV缓存4GB、Large为9GB；对照中Llama-3.1-70B为80GB。这只是缓存占用对照，模型大小与能力并不相同，不能理解为整台机器内存同比例减少。[1]
论文说明Large的总参数398B、每token激活94B，使用ExpertsInt8把部分权重以8位存储、计算时恢复BF16，使其在8张80GB GPU的机器上服务256K上下文。这里的256K是文本单位数量，不是同等长度中文字符，也不表示所有长文任务都正确；结果是作者披露，未由本站复验。[1]
对应材料：Jamba论文
作者会议论文的配置与缓存报告；不是同质量全成本对照
DeepSeek-V4模型卡区分Pro和Flash：前者总参数1.6T、激活49B，后者总参数285B、激活13B；标称上下文1M token。它把压缩稀疏注意力CSA与更重压缩后仍用密集注意力的HCA组合，目标是改善长序列处理。[2]
这份模型卡支持版本、结构与规模披露，但没有同硬件吞吐、能耗或服务总费用对照。激活参数较少也不等于只需存这些参数：所有专家权重仍需存储或调度，长上下文缓存和跨设备通信也占资源。[2]
对应材料：V4模型卡
厂商模型卡的结构声明；性能与经济效果未由本卡量化验证
论文发布、修订、业务进度和资料截止分别标识。未披露的事件日不补成精确日期。
Jamba: A Hybrid Transformer-Mamba Language Model 首次提交。
arXiv v1日期（UTC）；对应预印本 · 日期
Jamba-1.5: Hybrid Transformer-Mamba Models at Scale 首次提交。
arXiv v1日期（UTC）；对应预印本 · 日期
Jamba的ICLR 2025会议版本讨论Jamba-1.5；不是该架构首次公开。
2026-10-13研究报告第2模块；本次未把未披露日期补成精确日期 · 年份
模型卡的Release date标记DeepSeek-V4发布。
模型卡 General Information；原文日期标签 · 日期
封面Publication date；同时标Updated date为2026-04-24，更新早于发布的顺序按原文保留，不自行校正。
PDF封面 Publication date 与 Updated date · 日期
这份研究摘要的资料范围，不是上述事件统一发生的日期。
原研究报告事实范围 · 资料截止
应用建议（编辑推断）：自托管长文档问答时，分别看输入读完要多久、回答生成速度、峰值显存、能同时服务多少人，以及回答质量。API使用者更适合比较自己任务的实际延迟、质量和价格；架构名称本身不能替代这些测量。
后续最有价值的证据是：独立团队固定任务、质量和请求负载，同时记录预填充、解码、显存、通信、能耗与总费用，判断这些设计是否能在实际服务中持续提速或降本。并发增加后，质量和等待时间如何变化也要一起看。
正文中的编号指向下列材料。材料类别、具体支持与限制一起阅读，不能按链接数量累计独立验证。
[1] ICLR 2025会议论文：作者配置实验
Jamba论文
支持的内容：Jamba-1.5混合结构、指定256K/16位缓存占用与ExpertsInt8部署条件。
阅读定位：§2/图1（结构）；§3/表1（参数和缓存）；§4.1（ExpertsInt8与GPU条件）。
先看表1区分总参数、激活参数和KV缓存，再看§4.1的量化配置。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
作者团队指定模型与设备结果，不是同质量跨模型成本实验或独立复验。
结果依据继承原研究 2026-10-13，具体配置和局限需沿原文核对。
[2] 厂商模型卡
V4模型卡
支持的内容：Pro/Flash版本、CSA/HCA结构、标称上下文与参数；模型与文档日期。
阅读定位：PDF第1页封面、第2页General Information、第3页Model properties。
对照CSA和HCA分别压缩什么；留意参数与缓存不是同一个量。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
厂商模型卡；没有所讨论的同硬件吞吐、能耗或完整服务费用对照。
结果依据继承原研究 2026-10-13，具体配置和局限需沿原文核对。
[3] 研究预印本：书目与版本记录
Jamba: A Hybrid Transformer-Mamba Language Model
支持的内容：对应版本的首次公开日期；不将其结果与会议版合并。
阅读定位：arXiv 摘要页的 Submission history。
核对题名与v1时间；版本不同的实验结果需另读正文。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
只读摘要与版本日期，不是实验复验。
结果依据继承原研究 2026-10-13，具体配置和局限需沿原文核对。
[4] 研究预印本：书目与版本记录
Jamba-1.5: Hybrid Transformer-Mamba Models at Scale
支持的内容：对应版本的首次公开日期；不将其结果与会议版合并。
阅读定位：arXiv 摘要页的 Submission history。
核对题名与v1时间；版本不同的实验结果需另读正文。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
只读摘要与版本日期，不是实验复验。
结果依据继承原研究 2026-10-13，具体配置和局限需沿原文核对。
本页整理：2026-10-14 · 研究事实范围：2026-10-13。概念解释与既有研究展开；元数据访问不是原始实验复验。
研究验证与公开模型架构：论文及厂商模型卡披露了混合架构和稀疏注意力设计，但缺少同质量、同硬件、同负载的独立成本对照，广泛部署收益未明。
前沿推进 暂难判断；真实转化 暂难判断；判断信心 低。这是定性范围判断，不是增长率或职业替代率。
现今补充 · 独立观察模块2026-10-19.observations.2；原前沿研究基准另行保留。
看使用和采用背景、固定测试条件与成本；读训练迁移和评测方法，再回到输入、交接与验收。