DeepSeek V3 → R1 → V3.2 → V4，以及 OCR → OCR-2：从 MoE、RL 到 1M KV 与视觉因果流

1. 一条演进线，六种不同类型的改变

部署前要先确认每个版本究竟改了哪一层：V3 是模型骨架；R1 是训练方法；V3.1 在同一骨架上扩展长上下文和工具接口；V3.2 引入 DSA 与配套 kernel；V4 同时公开长上下文、MoE 通信、训练和 serving；OCR 走的是视觉 token 压缩路线。

版本	日期	可核验变化	与下一层系统的连接
V3	2024-12	671B/37B MoE、MLA、aux-loss-free balance、MTP，14.8T pretrain。	MLA/MoE/MTP 分别连接 KV、EP 和投机 decode。
R1	2025-01	基于 V3-Base；R1-Zero 大规模 RL，R1 加 cold-start/SFT/RL。	是 post-training 范式转折，不是新 backbone。
V3.1	2025-08	V3 续训、840B long-context tokens、think/non-think、工具调用。	同一模型通过模板/API 进入不同请求生命周期。
V3.2	2025-09/12	DSA、agent task synthesis、thinking + tool use。	attention 的索引/Top-k/稀疏 kernel 进入 serving。
V4	2026-04	CSA/HCA、mHC、MoE、MTP、1M、33T/32T pretrain。	把模型、kernel、EP overlap、KV tier 与容错 rollout 一起公开。
OCR / OCR-2	2025-10 / 2026-01	DeepEncoder→3B MoE；OCR2 Visual Causal Flow。	文档 token 压缩变成可自部署的视觉 prefill 管线。

2. V3 与 R1：同一 V3-Base 上，‘模型能力’和‘训练能力’的分叉

V3 公布 671B total / 37B active 的 DeepSeekMoE、MLA、auxiliary-loss-free load balancing 与 MTP。14.8T token 预训练后再做 SFT 与 RL。模型侧的 MLA 降低 attention 状态的表示成本；MoE 决定 expert routing 与 all-to-all；MTP 为投机 decoding 提供训练得到的草稿分布。

R1-Zero 直接在 V3-Base 上进行大规模 RL，没有先做长 chain-of-thought SFT。R1 随后用 cold-start 数据处理可读性、语言混杂和重复问题，再经过多阶段 RL/SFT。它沿用 backbone，改变的是 rollout、奖励、蒸馏和输出策略。“DeepSeek 的 o1 backbone”既混淆厂商，也混淆了架构与后训练。

DeepSeek V3 技术报告的模型架构图 — **原始/官方图：**一手来源。原图用于定位 MLA、DeepSeekMoE 与 MTP 的基础关系。R1 继承这一基座，不能因其 RL 结果而被画成另一种 attention 结构。

R1 的训练逻辑： V3-Base → [R1-Zero: direct RL] → [R1: cold-start → RL → rejection/SFT → RL] 推理模型的‘深度’由 token budget、策略与训练共同决定，不只是参数量。

3. V3.1：长上下文续训、Think/Non-Think 和工具接口

V3.1 官方说明与 V3 同架构，并在 V3 Base 上继续做 32K / 128K 两阶段长上下文预训练（约 840B token），还将 think/non-think、strict function calling、Anthropic 格式等能力整合进同一 checkpoint / 模板接口。它的价值是说明：同一张权重也可以因为 chat template、reasoning mode 和 tool contract 的不同进入两种截然不同的服务生命周期。

运行时不能因此把 think 与 non-think 视为两台独立模型。它们仍竞争同一权重、KV、队列和 SLO；区别在于平均输出 token、工具轮数、cache 生命周期和容错策略。

4. V3.2：DSA 将长上下文变成 indexer、Top-k 与 sparse kernel

V3.2 从 V3.1-Terminus 引入 DeepSeek Sparse Attention（DSA）。概念上，它先用轻量 indexer 对压缩/候选上下文评分，再选出少量相关状态交给 core attention。这样长历史不必在每个 query 上完全展开，但模型必须在训练时学会选择，runtime 也必须让 index、paged KV 和 sparse attention kernel 高效协作。

DSA 的教学抽象： query → lightning/indexer logits → Top-k compressed KV entries → core attention 若 index recall 不足，质量会下降；若 paged indexer / sparse kernel 不规则，理论 FLOPs 节省不会变成 latency 节省。

官方 V3.2 资料同时列出 TileLang、DeepGEMM paged indexer 和 FlashMLA sparse kernel。这正是模型与 infra 的耦合：不把 indexer 在 GPU 上算快、不让 KV block 可寻址、或不能把 selected entries 连续喂给 kernel，DSA 只能停留在论文结构图。

5. V4：1M context 不只是 attention 改名，而是一条完整的系统链

V4 公开 Pro（1.6T/49B active）和 Flash（284B/13B active）两种规格，均支持 1M context。其核心结构包含 CSA/HCA 混合注意力、mHC、DeepSeekMoE 与 MTP；训练报告还披露 Muon 优化器、33T/32T 预训练、specialist SFT→GRPO→on-policy distillation。Muon 是训练优化器，不是推理算子。

DeepSeek V4 技术报告 Figure 2 的 CSA/HCA、MoE、mHC 与 MTP 总体架构图 — **原始/官方图：**一手来源。原图是 V4 模型结构的主要一手图。CSA/HCA 的具体压缩/选择机制应以论文为准；它不能被拿来证明所有 V3.2 或第三方模型使用同一套 KV 格式。

V4 把 fine-grained EP 通信计算重叠、fused MoE megakernel、两阶段 contextual parallelism、异构/磁盘 KV、shared-prefix reuse、FP4 QAT、可抢占容错 rollout 和 million-context RL 放在同一份报告里讨论。1M context 因而不只是配置字段，它会牵动 attention 表示、kernel、网络、缓存、调度和故障恢复。

13 · DeepSeek-V4 专题继续展开 V4 的机制；本页只负责把它放回 V3、R1 和 V3.2 的演进关系中。

6. OCR → OCR-2：视觉压缩的两代结构到底改变了什么

DeepSeek-OCR 用 DeepEncoder 把二维页面压缩成少量视觉 token，再交给 DeepSeek 3B MoE decoder（约 570M active）。它做的是 optical context compression：尽量保留文字、布局和图表，同时缩短语言解码器要处理的上下文。

DeepSeek-OCR-2 论文 Figure 1 的 Visual Causal Flow 图 — **原始/官方图：**一手来源。原图展示 OCR-2 的视觉 token 与 causal-flow query 关系。它说明语义重排与因果查询；不应把它简化为传统 raster-scan OCR。

OCR-2 的 DeepEncoder V2 从固定 raster 顺序走向按图像语义动态重排的 Visual Causal Flow：视觉 token 间允许双向关系，query 路径则保持因果性质，从而让后续解码在更有意义的顺序中读取文档信息。两代官方 repo/HF 均给 Transformers、vLLM、SGLang 的推理指令；OCR2 还给出 OpenAI-compatible endpoint。将它们接入服务时，应把文件渲染、分辨率/tiling、视觉 prefill、PDF 批处理与文本 decoder 作为独立阶段测量。

7. 多个 DeepSeek checkpoint 的部署不能共享一个盲目的配方

对象	重点	服务验证
V3/R1	MLA、MoE、MTP、reasoning token	TP/EP、acceptance、KV、长 CoT 预算
V3.1	同一 checkpoint 的 think/tool template	模板隔离、工具格式、会话恢复
V3.2	DSA + sparse kernels	index recall、selected KV、kernel time、quality
V4	CSA/HCA、MoE kernel、1M state	context tiers、network overlap、fault/retry、tail latency
OCR/OCR2	视觉压缩 + 3B decoder	页/图预处理、视觉 token、PDF batch、endpoint schema

官方建议的 vLLM/SGLang/其他 engine 命令应逐 checkpoint 和 revision 复制；一个 engine 的兼容层不能被解释为模型设计本身。公共 API 的 user_id / cache isolation 等语义属于逻辑控制面，不代表物理 KV 在数据中心的放置，详见缓存与 Agent 状态页。

8. 从 V3 的 MLA 到 V4 的 CSA/HCA：不要把所有稀疏注意力叫成同一种东西

机制	主要状态/选择方式	系统问题
MLA	潜表示压缩 K/V	KV 表示、投影和 cache 读写。
DSA	indexer 选择 compressed KV entries	index recall、Top-k、paged sparse kernel。
CSA	更系统化的 sequence-KV compression + sparse selection	压缩状态、一致性、长 context kernel。
HCA	高压缩表征后保留 dense attention path	压缩率、质量、KV/compute 取舍。

这些技术都试图把长上下文成本从‘每次读全部历史’移到更小的表示、候选选择或块级执行，但它们的训练目标、状态对象、质量风险和运行时实现不同。比较时应回到具体报告和 checkpoint，而不只比较‘稀疏’标签。

9. 一手来源

一手来源	本页用来核验什么
DeepSeek-V3 report / 官方发布	V3 架构、训练、MTP。
DeepSeek-R1 / 仓库	R1-Zero、cold start、RL、蒸馏。
V3.1、V3.2、V3.2 模型卡	续训、工具、DSA、正式版。
V4 technical report / V4-Pro	V4 结构、训练、kernel 与部署配方。
DeepSeek-OCR、OCR-2、OCR-2 repo	OCR 两代视觉压缩、模型与 self-host 路径。