Hy3 Preview → Hy3：快慢思考 MoE 如何经过产品反馈、RL 与 serving 走向正式版

1. Preview 到正式 Hy3：变化发生在哪里

Preview 于 2026 年 4 月开源，正式 Hy3 在 7 月发布。官方把正式版的改动归因于产品反馈、更高质量且更多样的后训练数据、更大规模的 RL，以及工具调用格式、长上下文稳定性和成本效率的改善。

所以下文只讨论有资料支持的 MoE、MTP、训练/RL、产品反馈和部署方式。稳定性或评测提升不能反推一套未披露的 attention 或专家路由算法。

2. 一个 Hy3 token 在模型内经过什么

Hy3 是 decoder MoE：输入 token 经过注意力和 FFN/MoE block；router 选择少量 experts；输出接入下一个 block。官方模型卡还列出 80 个非 MTP Transformer layers、一个 MTP layer、192 experts、top-8 routing、GQA（64 query heads / 8 KV heads）与 256K context。GQA 意味着多个 Q head 共享更少 KV heads，降低 KV 持久化压力；它不使 cache 消失。

MoE 的关键系统问题是 token dispatch。若 experts 跨 GPU，dispatch 与 combine 引入 all-to-all；因此 TP8 只描述 tensor-parallel 维度，实际生产放置还要确定 EP、数据并行副本、拓扑和负载均衡。

3. 预训练、RL 与产品反馈：不要把训练基础设施写成推理算子

腾讯公告称，团队从 2026 年初开始重建预训练和强化学习基础设施，目标覆盖推理、长上下文、指令遵循和工具使用。正式 Hy3 又加入 50 多个产品的反馈、更高质量的 post-training 数据和更大规模 RL。训练 rollout、数据筛选、奖励信号与服务反馈组成迭代流程，它们不会在每次用户请求里变成一组固定 attention kernel。

fast/slow thinking 可能是请求级 effort、chat template 或后训练行为。公开资料没有显示模型会在每个 token 上切换到第二套隐藏 Transformer，因此这里把它作为接口和行为来测量：记录 token 预算、工具成功率和延迟。

4. 官方 self-host 配方可以说明什么

Hy3-preview 官方仓库列出了 vLLM 和 SGLang 路径：TP=8、MTP speculative decoding、tool/reasoning parser，以及 OpenAI-compatible server。模型卡的命令是一个可运行的起点，适合学习以下执行链：

1. 加载精确 checkpoint、tokenizer 与 chat template。
2. 在 TP group 内完成注意力/线性投影的 collectives。
3. 在 MoE 需要时完成 token dispatch、expert grouped GEMM 与 combine。
4. 由 MTP 产生多个候选，目标模型一次性验证，提交最长可接受前缀。
5. 解析 tool call；Agent 暂停时由服务层决定 KV 的保留、迁移或重算。

正式 Hy3 的 API 与产品集成可说明托管能力，但不能由‘在若干腾讯产品中使用’反推出固定硬件或统一 P/D 架构。部署实践请参照 开权重自部署 与 托管 API 两页的证据边界。

5. 对 Hy3 做系统评测时应记录什么

6. 256K context：GQA 与 MTP 怎样改变状态，而不是取消状态

GQA 通过较少 KV heads 降低每 token KV，但长 context 仍按层数、context、并发和精度累积。MTP 还引入 draft / verify 的短期状态。评估 256K 时应同时做检索质量、连续生成、tool resume、KV peak 和 p99；单个 needle 测试只能说明一种能力，不能证明缓存、调度和迁移在真实负载下都正确。

7. Preview 到 Hy3：把产品反馈写成训练数据和评测闭环

正式 Hy3 的一手公告将改进描述为来自产品反馈的高质量/多样 post-training 数据和更大 RL，并强调工具格式、反幻觉、多轮上下文、稳定性和成本。一个完整的学习闭环应是：产品 trace/失败样本 → 过滤和任务化 → 可复现 environment / reward → rollout / trainer → golden set / 用户反馈回归。它比‘某榜单升了几分’更接近实际模型演进，但仍不泄漏或假设内部用户数据和集群实现。

8. Agent 工具调用的输出正确性：parser、schema 与环境同样是模型接口

Hy3 的 tool/reasoning parser 说明，模型输出的 token 序列要在 runtime 中被解释为结构化调用。上线时必须版本化 JSON/schema、校验参数、限制副作用、把 tool output 作为新的 context 显式记录，并在重试时避免重复执行。长程 Agent 还依赖 sandbox、browser、filesystem、预算和人类接管规则，模型参数只是执行链的一环。

9. 一手来源