边缘 SLM 与云端 LLM 的协同推理和学习

1. 综述范围与主要结论

论文讨论一种异构系统：设备上运行小语言模型（small language model，SLM），云端提供能力更强但调用更贵的大语言模型（large language model，LLM）。研究问题有两个：两者在推理时怎样分工，以及在训练或持续更新时怎样交换知识。这是一篇设计空间综述，没有提出新的模型、优化器或端到端系统。

全文可以用两条轴理解。第一条轴是推理粒度：从一次请求只选一个模型的 task assignment，到把执行阶段拆开的 task division，再到多个子任务共同完成的 task-level mixture，最后细到生成 token 的 token-level mixture。第二条轴是学习中的知识方向：云端向端侧蒸馏、用 adapter 交换增量、大小模型双向迭代、SLM 反过来监督 LLM，以及云端按需求向端侧注入能力。两条轴并不独立：训练出的草稿模型决定 speculative decoding 的接受率；模型结构是否兼容决定能否切层；隐私预算决定端侧能上传原文、特征、logit、adapter，还是只能上传统计量。

综述把边缘和云看作两类能力、延迟、成本与信任边界不同的资源。系统需要在质量约束下选择协作粒度，同时考虑网络、设备负载、用户偏好、数据敏感性和模型不确定性。永远优先端侧或在端侧失败后整包上云，都只是其中较粗的策略。

2. 前置知识：模型、硬件、生成与系统指标

LLM 与 SLM 是相对角色，不是严格参数门槛。原文把 SLM 概括为数百万到数亿参数、面向受限设备的较浅或较窄模型；LLM 通常由数十至数百个 Transformer block 组成，依赖云端多 GPU、高带宽互连和大内存。现实中“大小”还取决于任务和设备：同一个十亿级模型在服务器上可能是小模型，在微控制器上却根本放不下。本文真正关心的是能力与资源不对称，而非某条参数量分界线。

自回归生成按前缀逐 token 预测。给定输入 x 和已生成前缀 y<t，模型输出下一 token 的条件分布，再把选中的 token 加回前缀。质量强的云模型每一步都做完整前向传播，延迟因而随输出长度累积。推理体验至少要区分首 token 延迟（TTFT）、相邻 token 延迟（TBT）、总完成时间、吞吐和尾延迟；只报平均值会遮住网络抖动与排队。

端侧约束包括模型权重、KV cache 和中间激活占用的内存，CPU/GPU/NPU 可用算力，温度与电池能耗，以及多应用争抢资源。云侧约束包括实例费用、API 计费、批处理等待、租户隔离和容量上限。链路约束不只是一项“网速”：上行/下行带宽、往返时延、丢包、断连和数据流量价格会对不同协议产生不同影响。上传一次短路由结果与每轮来回传 token 的敏感度完全不同。

几个易混概念：路由是在候选模型或服务之间选路径；offloading 是执行中把层、算子、阶段或 token 的计算迁到别处；early exit 是在中间出口提前结束；RAG 是取回外部证据并供生成使用；知识蒸馏则让学生拟合教师的输出、特征或隐藏状态。量化、剪枝、低秩近似是形成可部署模型的底层手段，它们本身不等于边云协同，但会改变通信量、切分点和端侧可行性。

3. 为什么纯云、纯端与朴素 fallback 都会失败

朴素 fallback 特别容易产生三个错觉。第一，“softmax 最大概率高”不等于模型真的知道答案；开放式生成有多个合理续写，归一化概率还会隐藏 logit 的原始证据强弱。第二，“只把困难请求发云端”不等于省通信：若判断发生在完整端侧推理之后，已经支付一次本地成本，随后又支付上传、云计算和下行成本。第三，“不上传原始文本”不等于隐私安全，中间表示、检索向量、logit、梯度或 adapter 都可能泄漏属性与成员信息。

因此协作的价值不只是平均加速，而是把失败模式显式化：简单请求本地闭环；复杂请求可按阶段拆分；云端暂不可用时保留降级答案；敏感字段在设备内处理；长生成用批量验证减少往返。代价是控制平面更复杂，必须维护模型版本、状态一致性、切分协议和可观测性。

4. 四类推理 taxonomy 总览与边界

边界应按“共同完成同一请求的方式”判断，而不能只看论文名称。一次生成前选择本地或云端，是 assignment；已经开始执行后把高层或重算子迁走，是 division；把“规划、检索、执行、验证”分给不同角色，是 task-level mixture；两个模型共同决定输出序列中的 token，则是 token-level mixture。MoE 和 agent 在综述中出现在 assignment 的模块化分配讨论里，但若 agent 把请求拆成依赖子任务并多轮协作，功能上又接近 task-level mixture。这个重叠正说明 taxonomy 是分析视角，不是互斥的软件类型系统。

5. Task assignment：资源、不确定性、MoE 与 agent

资源与不确定性感知分配。控制器在生成前读取请求语义、设备和云负载、网络状态、预算、用户偏好以及模型置信度，估计每条路径的质量与成本。FS-GEN 把快但不确定的 SLM 视为 System 1，把可靠的 LLM 视为 System 2，并以云模型介入频率表达协作程度。EdgeLLM 用 value-density-first 排序任务，支持抢占和 batching；优点是实时成本意识，风险是动态负载下抢占可能导致不稳定。反馈驱动方法不用固定阈值，而根据运行时置信度与系统状态调路由。PerLLM 把路径选择写成受约束多臂老虎机；U-VPA 只上传对非平稳领域有信息量的样本；KDSL 则让 LLM 生成逻辑规则，经验证后放到端侧，用符号规则纠正预测。

能力与偏好建模。Tabi 使用校准置信度在轻量模型与 LLM 间选择；FrugalGPT 结合提示压缩与级联；RouteLLM 组织分层模型并动态规划；HybridLLM、ZOOTER、RouterDC、CITER、MixLLM 分别以质量差、查询奖励、对比表征或 contextual bandit 学习“什么请求适合什么模型”。分类器精度之外，训练标签本身也决定结果：若“最佳模型”只由离线 benchmark 定义，部署中的价格、排队和用户偏好就不会进入优化目标。

MoE 式软分配。设备上的 gate 可只激活少量云端专家，再融合响应。MoE2、EdgeMoE 用统计先验或学习策略减少内存与 I/O，LiteMoE 识别并合并关键专家而无需重训。它比二选一更能利用专家多样性，但多个云专家会增加费用和通信，gate 的偏差也可能把长期流量锁定到少数专家。

agent 式调度。规划 agent 解释指令、形成结构化计划，再把子工作交给助手、工具或执行器。ARAG 以用户理解、自然语言推断、上下文摘要和排序四个 agent 组成 RAG；AgentVerse 让边缘协调器按意图组装云专家团队，并支持投票和纵向通信；EcoAgent 由云规划器和端侧执行、验证 agent 组成闭环，失败时重规划。此类系统把“选择模型”扩展成“选择角色和通信拓扑”，但计划错误、工具副作用和多轮延迟也随之累积。

6. Task division：路由转发、offloading、early exit 与通信优化

路由与转发仍会选择模型，但综述把它放进执行切分，是因为它常形成级联：先由轻量模型产出或估质，再按信任、语义、奖励和成本向后转发。预估既可发生在推理前，也可检查推理后的答案。备份 block 预加载能在异构设备失败时接管，但必须维护状态一致；错误 fallback 既可能增加开销，也可能把本来正确的本地答案替换掉。

结构切分与计算卸载。系统先 profile 每层/算子的计算时间、内存和输出激活字节，再选择切分点。低层可在本地执行，高层推理送边缘服务器或云；也可以把 attention、线性层等重模块上云，把轻操作留端侧。ADAS 在云、边、端三种位置间作任务卸载；CE-CoLLM 根据 token 置信度选择本地处理；自动调优方法选择 INT8 中间层作为切点。运行时自适应调度还读取即时带宽、负载、资源和用户效用。静态 profiling 若遇到热降频、并发应用或网络漂移会失真，因此候选策略应在线重估，而非只在实验室选一次。

Early exit。多出口网络在中间层加入判断头，简单输入或高置信 token 可提前结束。LITE 用置信度引导退出；LayersKip 通过逐层增强 dropout 和 early-exit loss 训练可退出结构；EE-LLM 在三维并行 LLM 中加入 token 级出口，并处理 KV 重计算和流水线复用；EESD 用基础模型前 N 层加一层 Transformer 生成草稿；FREE 同步浅层单元与预计算残差。省下的层数不是免费收益：不同 token 的难度不同，过早退出会损害质量，出口训练也改变模型结构。

通信优化。只转发推理关键 token 特征、对中间表示做熵编码、压缩记忆单元、流水线切分设备，都能减少传输或隐藏等待。但切分点的激活可能比原始请求更大；压缩要计算编码与解码，并可能损失语义；批量等待提高吞吐却恶化单请求尾延迟。通信优化必须报告“传了多少字节、几轮往返、在什么链路上”，只报模型 FLOPs 不能证明边云系统更快。

7. Task-level mixture：分解、历史增强、RAG 与反馈

任务级 mixture 同时包含 assignment 和 division：先找出有语义的子任务边界，再按能力、依赖和资源分配，最后汇总。MinionS 让端侧分解、云端聚合；HybridSD 把高层结构推理交给云端，把感知细节留在设备；IntellectReq 由云端生成抽象意图，再让轻量边缘模型执行；BAIM 通过 gate 融合多个端侧多模态输出；OT-GAH 用在线树剪枝和广义分配启发式提升批吞吐；HAWKEYE 让 LLM 负责受长度惩罚的高层推理，SLM 展开细节。关键数据结构通常是依赖图：只有依赖满足的子任务才能执行，关键路径优先，失败节点要决定局部重试还是整图重规划。

历史增强利用用户曾经向本地和云端发过相似请求。VELO 在边缘缓存旧请求 embedding，并按向量相似度选执行路径；近邻检索方案保存交互历史，同时用子集选择控制存储；Hybrid-RACA 让云端检索器与端侧预测器通过压缩 memory unit 协作；迭代 DPO 则让大模型持续指导设备小模型更新。历史能减少重复上云，却带来过期、污染和隐私问题：缓存命中率高不代表答案仍然正确，模型或知识库版本变化后必须失效。

RAG 与自评估把“是否需要外部证据”也变成运行时决策。Self-Knowledge Retrieval 先用内部知识，不足才检索；Self-RAG 生成 reflection token 来评估证据；CRAG 用轻量评估器判断检索质量，必要时触发二次检索或扩展；RA-ISF 在失败后依次自评估、检索、分解子问题再合并；SlimRAG 在云端建轻量实体到片段索引以减少图复杂度与通信；SpeculativeRAG 对文档聚类并并行生成草稿。这些方法的正确性瓶颈从单一模型扩展为检索召回、证据新鲜度、分解完整性、冲突合并和引用忠实度。

8. Token-level mixture：草拟验证、自推测、骨架补全与 token tree

端侧草拟、云端验证。端侧 SLM 对当前前缀一次提出长度为 k 的候选块，云端 LLM 并行计算这些位置，接受可接受的最长前缀；在首次拒绝处由目标模型修正，再进入下一轮。优势来自“强模型一次前向验证多个候选”，不是因为跳过了目标分布。草稿越接近目标模型，接受率越高；但 k 过大时，一次早期错误会让后续草稿作废。DiSCo 从草稿 logit 估计接受概率；PEARL 自适应草稿长度并提前验证；SEED 用轮转 FCFS 管理草稿；多层验证流水线先以便宜 verifier 过滤，再做最终云验证。

质量增强与硬件调度。Fuzzy Speculative Decoding 放宽严格匹配以容许轻微差异；短语复用缓存已验证片段；DistillSpec 以目标模型自采样数据离线蒸馏草稿模型；DuoDecoding 让 CPU 草拟、GPU 验证，并按负载调长度；BanditSpec 把超参数选择写成多臂老虎机。放宽匹配可能改变输出语义或分布，因此必须明确是“保持目标模型精确分布”的 speculative sampling，还是近似生成；两者不能用同一句“质量无损”概括。

自推测避免额外 draft 模型。Kangaroo 复用目标模型浅层子网和 LM head；SWIFT 按上下文动态跳层；其他方法利用 early exit 或浅深子网形成同模型内部的 proposer/verifier。它减少第二套权重、通信和训练成本，但若目标 LLM 只存在云端，把浅层搬到设备仍需解决结构、权重更新和中间状态传输，并非天然“无通信”。

语义骨架补全有两个方向。云到端：PICE 由云端产生任务 sketch，端侧渐进细化；CoGenesis 提供“云规划、端补全”和只交换 logit 分布的协议；NEST 云端做完整检索，端侧用轻量缓存做 token 级邻居搜索。端到云：SlimPLM 在本地知识不足时才触发 LLM；token correction 只让云端替换少量歧义 token；Probe Sampling 以草稿—目标相似度决定回退。骨架通信比整段文本轻，但粗骨架可能限制表达，logit 协议还依赖词表与模型接口兼容。

Token tree不是只生成一条草稿，而是在节点处分叉出多条候选路径，一次验证更多可能。LLMCad 和 Traversal Verification 可在一轮中验证、纠正多分支；AdaServe 为每个请求构建候选树，在 SLO 下选择分支；OPT-Tree 在节点预算内贪心建立期望最优树并按概率剪枝；Sequoia 用动态规划并结合硬件选择深度和规模。树太小探索不足，太大则浪费 draft、显存和验证算力，最优结构依赖接受概率与硬件批处理效率。

9. 统一数据流、状态机与优化变量

一个完整协同请求可抽象为以下状态机，而不是一句“边云共同推理”：

1. 采集与策略输入：设备取得请求 x，同时读取电量、温度、可用内存、端云队列、带宽/RTT、隐私等级、费用与质量 SLO。
2. 本地预处理：检测意图和敏感字段，必要时本地检索、遮蔽或生成轻量表示；保留可审计的策略决定。
3. 计划与路由：选择整请求模型、执行切点、子任务 DAG，或 speculative 协议及草稿长度。策略也必须有“纯端降级”和“拒绝执行”路径。
4. 协同执行：端侧产生答案、激活、检索结果、骨架补全或草稿 token；云端执行重模块、规划、聚合或验证。每轮交换都携带请求 ID、模型/词表版本和状态摘要。
5. 验证与提交：检查质量、事实证据、隐私策略和超时；只在满足提交条件时向用户展示，避免失败重试重复执行工具动作。
6. 反馈与学习：记录用户接受/修改、路由结果、接受率、字节数、能耗与错误类型；训练阶段只按授权上传受控信号，并处理缓存和旧 adapter 失效。

可把策略写成一个多目标、带约束的抽象，而不能声称这是原文所有方法共同采用的公式。令 r 为模型/专家路由，s 为层或算子切点，z 为子任务分配，k 为草稿长度/树结构，c 为压缩与通信协议，e 为退出点，u 为上传的训练信号，则策略变量为 π=(r,s,z,k,c,e,u)。可以最小化：

J(π)=α·Latency+β·CloudCost+γ·EdgeEnergy+δ·Bytes+η·PrivacyRisk+ζ·FailurePenalty

并满足 Quality≥q_min、P99 latency≤L_slo、端侧内存/功率上限、隐私预算、云配额与可靠性约束。不同 taxonomy 只是激活不同变量：assignment 主要选 r；division 还选 s,e,c；task mixture 选择 z 与依赖调度；token mixture 选择 k 和验证规则；持续学习再加入 u。权重不是固定真理，应由产品 SLO 或 Pareto 前沿确定。若把质量、延迟和隐私压成一个未经解释的平均分，部署者无法判断退化来自哪里。

10. 端到端具体例子：移动端私密邮件助手

假设用户说：“根据最近邮件总结 Project Atlas 的三项风险，并按我的口吻拟一封给供应商的回复，不要泄露内部报价。”设备内保存邮件与联系人，云模型不能直接读取原始邮箱。

1. 输入与隐私分类。端侧 SLM 识别任务包含本地私有数据、跨邮件检索、综合推理和写作；标记姓名、内部报价、合同编号。若用户只是把一句话改得更礼貌，assignment 可直接走纯端；当前请求较复杂，不能简单整包 fallback。
2. 本地检索与任务分解。端侧按 Project Atlas 检索邮件，生成带来源 ID 的事实卡：交付延期、接口测试失败、报价超预算。原文和敏感数字留在本地。规划器建立 DAG：事实抽取→风险归并→回复提纲→本地个性化与数字回填→最终核验。
3. 上行最小化。设备上传脱敏事实卡、任务要求和允许透露的约束，不上传整封邮件。若协议用 embedding 或压缩 memory unit，也要在威胁模型中把它当潜在敏感数据，而不是默认安全。
4. 云端高层推理。LLM 检查三项风险是否互相独立，生成“事实—影响—行动”的语义骨架，并标出仍需本地值的占位符。这里是 task-level mixture 与 cloud-to-edge skeleton，而不是纯路由。
5. 端侧补全。SLM 用本地联系人称谓、用户历史语气和获准披露的日期补全草稿。内部报价只用于判断“超预算”，若策略禁止外发就不填入正文。
6. token 协作。若需高质量长回复，端侧按块草拟，云端对脱敏前缀批量验证。遇到占位符和敏感段落，验证留在端侧；链路变差时缩短草稿块或直接提交端侧降级版。
7. 提交与反馈。端侧事实核验器逐句绑定邮件来源，检查是否出现禁发数字，再展示给用户。用户修改语气后，只更新本地 adapter；是否上传 adapter、裁剪梯度或统计量由明确授权和隐私协议决定。

这个例子展示了为什么协作不是“先端后云”的线性流水线。它同时含本地数据面、云端推理面和策略控制面；任何阶段失败都要定义降级。如果云超时，系统仍可返回带来源的本地摘要；如果本地检索召回不足，上云也无法凭空恢复缺失事实；如果版本不一致，云端骨架中的 token/字段协议可能无法被端侧解析。

11. 协同学习 taxonomy：五类知识流与压缩底座

压缩底座。剪枝按通道或结构删除冗余，量化降低权重、激活或中间表示精度，低秩近似用较小矩阵表达更新或权重。它们让模型或 split encoder 放得下设备，并降低传输，但会引入精度、稳定性和硬件算子支持问题。MergeNet 以低秩分解大小模型参数后做注意力融合；split-transformer 可让端侧 encoder 输出量化 embedding 给云端 decoder。底座回答“模型怎样变轻”，下面五类回答“知识怎样流”。

一、Distillation-based collaboration。云端教师向端侧学生提供 logit、特征、隐藏状态、标签或推理过程。ATKD 按任务与多样性建模 token 学习难度；SLMREC、GKT 对齐中间隐藏状态；伪样本、mask 和 Mixup 可在不共享原数据时对齐表示；DC-CCL 纵向切分基础模型并训练轻量 proxy 模仿云行为；质量检查失败时才调用教师，可减少通信。优点是压缩与个性化灵活，弱点是教师—学生结构错配、领域漂移、伪标签噪声，而且传统形式默认单向。

二、Adapter-based modular training。冻结基础模型，只交换 LoRA 或 bottleneck adapter 等少量增量。PEFT 让客户端更新 adapter，服务器用监督微调与 KL 正则双向提取知识；PLURALISM 用 LoRA 把社区模型知识并入基础模型；HETLoRA 允许不同能力客户端使用高低 rank 模块，云端按 rank 剪枝和稀疏加权聚合；Fast Domain Adapter 从历史多模态数据生成个性化参数。它降低通信并保持 base 完整，但仍依赖接口、层位置和 rank 兼容，跨模态或不同 backbone 不能直接平均。

三、Bidirectional collaborative learning。知识不只下发，端侧反馈还改变云端。FedMKT 在 cloud LLM 与 client SLM 间双向交换；CROSSLM 让端模型本地训练，云端根据反馈生成并过滤 pseudo-data，再回传；DUET 分离静态/动态层，由元网络和分层 HyperNetwork 生成个性化参数；其他方案让端侧产生任务对齐样本，云模型做并行解码蒸馏。闭环能适应 non-IID 数据，却可能放大本地偏差、旧版本反馈和恶意更新。

四、SLM-guided / SLM-driven LLM supervision。小模型也可当可信领域模块或行为先验。SALT、SKD 在训练早期让 SLM 教 LLM，随后逐步反转角色，使大模型把容量留给复杂样本；小型领域模型可输出中间预测或 chain-of-thought 指引 LLM；Purify-LLM 用可信 SLM 过滤噪声，只吸收对齐知识。这里利用的是 SLM 在窄域、规则或本地行为上的专长，并不意味着它的总体能力更强。风险是局部偏差被权威化。

五、Cloud-guided capability injection。云端不必下发完整模型，而可生成标签与 rationale、任务模块、子网络或行为差分，让端侧快速获得新能力。Progressive Distillation 用 LLM 为无标注数据生成任务标签和理由；ModelGPT 根据用户样本或任务描述生成定制小模型；ECLM 把云模型拆成可组合模块并按设备需求组装，再周期性吸收边缘知识；紧凑 logit delta 可把微调引起的行为变化传给另一模型。优点是少样本、按需、模块化，代价是云计算昂贵、概念漂移和端侧验证困难。

参数兼容是横切问题。Graft 用局部功能归因与全局信息信号只拼接兼容参数；CKI 估计来源模型信息容量后两阶段融合；Forward-OFA 按实时需求由行为映射到结构，一次组装子网而无需反向传播；DIET 由统一 backbone 生成个性化子网。若模型的层数、隐藏维度、词表或功能语义不同，直接平均参数没有意义，必须通过 adapter、投影、蒸馏、拼接或元网络建立兼容映射。

12. 隐私、安全与通信：上传的不是原文也可能泄漏

威胁模型至少要列出：云服务是否诚实但好奇；链路是否可能窃听；客户端是否恶意；聚合器能否串谋；攻击者能否反复查询；模型输出是否会泄漏训练成员或敏感属性。保护对象包括原始提示、设备检索库、embedding/激活、logit、梯度、adapter、缓存、路由日志和最终输出。数据局部性只说明原文在哪里，不能自动保证这些派生量安全。

训练层保护。联邦学习让客户端保留原数据，只传更新；安全多方计算或加密聚合可阻止聚合阶段直接看到单个更新；轻量 adapter 缩小暴露和通信面；分层个性化可把一般模式放云、区域偏好放边、细粒度偏好留设备。但更新仍可能遭受重构、成员推断、投毒与后门，non-IID 数据还会使公平聚合更难。加密保护的是协议中的可见性，不会修复恶意标签或有偏目标。

推理层保护。RemoteRAG 在 embedding 空间定义语义差分隐私，并以阈值安全检索只返回文档索引；SuperICL 以插件式小模型通过 prompt augmentation 注入本地知识而不直接交原数据；符号遮蔽与 cGAN 替代数据尝试平衡效用和隐私；POST 优化隐私 speculative decoding 中的密码操作；私有云可保存敏感数据和向量库，把获准的 LLM 计算弹性卸载到公有云。这些都是具体威胁假设下的初步方案，不能泛化成“embedding 安全”或“联邦学习天然隐私”。

通信账本应逐方向记录每请求上/下行字节、往返轮数、峰值带宽、重传、序列化/压缩耗时和加密开销。训练还要记录每轮参与客户端、更新大小、轮数与掉线；speculative decoding 要记录每轮 draft token 数、接受 token 数、修正数和目标模型调用。压缩率必须同时给出语义/质量损失；通信与计算重叠时分别报告 wall-clock 和纯组件时间，避免把隐藏的等待当成消失。

13. 数据集、benchmarks、指标与“没有统一实验”

最重要的证据边界：本文是 survey，没有作者统一复跑的模型、硬件、网络 trace、baseline 或端到端实验，也没有可直接采用的统一平均加速比和消融。表格汇总来自不同论文；模型规模、任务、网络、设备、质量标准和计费方式不同，因此不得把某工作的准确率、另一工作的能耗下降和第三工作的加速拼成一个“协同系统总体提升”。

双模型评估要同时看云端全局泛化与端侧本地适配。分类可报告按设备数据量加权的 global accuracy、每设备 local accuracy 分布和蒸馏损失；生成同时看 BLEU/ROUGE 或任务质量、用户级 perplexity 与人工偏好；推荐可报告全局 AUC、局部 CTR 校正和端到端流量效率。任何平均值都应补充设备/用户分位数和最差组，避免大客户端淹没小客户端。

平台方面，FedML 支持端上、单机和分布式模式并解耦通信与训练；Flower 可跨语言和后端扩到大量虚拟客户端；TensorFlow Federated 面向大规模设备联邦实验。FedMulti-modal 汇集十个数据集与八种模态并模拟模态缺失、标签噪声；pFL-Bench 在十余数据集上统一划分并加入设备异构、稀疏配置；FederatedScope-GNN 覆盖节点、边、图级划分。面向 LLM 推理，SpecBench 评估 speculative decoding 的 latency、accuracy 与 compute cost；MessageRewriteVal 用人工标注的移动文本改写场景评估按自然语言指令重写消息。它们提供组成部分，仍不是覆盖四类推理和五类训练的单一统一 benchmark。

14. 工业框架、垂直案例与准确数字

综述的工业表格列出三个框架。Walle 是覆盖开发、运行时和扩缩容的端到端部署流水线，报告管理 300+ tasks 与每天 10B+ calls；原文同时注明其限制是与基础设施紧耦合。Luoxi 采用 slow-fast learning：云 LLM 生成辅助表示，边缘 SLM 快速推理并反馈，强化个性化，但依赖可靠的双向通信。InfiGUIAgent 用两阶段层次推理和设备端微调做多模态 GUI 交互，代价是端侧内存与计算压力。这里只有 Walle 给出上述规模数字；它们是框架覆盖规模，不是准确率、加速比或综述复现实验。

垂直案例说明了不同分工方式，而不是提供可横比的冠军表。自动驾驶中，ADAS 让端侧轻量多模态 CogVLM2 处理目标检测、避障等时延关键任务，云端 ChatGPT-4o 做高层路线规划；EC-Drive 由边缘处理常规驾驶，遇到新障碍等分布漂移事件才触发云端常识和跨模态推理。直播商品识别只上传关键帧特征以省带宽，但可能漏掉关键内容。文化遗产修复由端侧提出碎片匹配，云端排序与对齐；产品建模由边缘注入几何先验、云端合成纹理，受跨设备对齐噪声影响。

虚拟助手让端侧承担日常交互，复杂或 fallback 请求上云，风险是切换破坏对话连续性。个性化推荐由云端生成候选，端侧依据实时上下文重排，效果上限受候选多样性限制。AutoDroid 结合云端语义解析与端侧动态分析执行跨应用任务；BioMistral 通过生物医学语料持续预训练支持本地或混合医疗部署，但敏感场景仍需严格验证；WebAgent 把指令拆成子任务、摘要长文档并生成可执行脚本，正确性依赖分解与执行安全。

原文还转述了若干单项研究结果，例如一项混合诊断架构报告 91% diagnostic accuracy 和 28.6% energy reduction，一项 Unitree Go 2 机器人上的分层推测方案报告相对云解码 21% speedup。这些值来自各自被引工作，只能在其任务、硬件与设置内理解；它们不能与 Walle 的调用规模或其他数据集数字合成一条综合结论。

15. 证据边界、开放挑战、部署决策与复现协议

证据边界。taxonomy 证明文献可以按这些机制组织，不证明四类方法在同一条件下谁最好；工业案例证明已有大规模或垂直落地，不证明任意设备和网络都获益；数据集规模证明可模拟用户异构，不代表包含真实蜂窝网络、能耗、隐私攻击或云排队。综述没有传统 ablation。读者应回到每篇被引工作的任务、基线和测量方法，尤其警惕只做算法模拟、只报均值、以 surrogate quality 代替人工/任务质量，或忽略失败重试的结果。

开放挑战。第一，不确定性需从归一化 token 概率走向证据感知，并区分知识不足的 epistemic uncertainty 与输入本身多义的 aleatoric uncertainty；开放生成有多种正确答案，简单阈值尤其脆弱。第二，策略要适应网络、负载、模型和数据漂移，强化学习或元学习策略也需安全探索与可解释约束。第三，细粒度协作要在语义一致性、状态同步和通信成本间取舍。第四，异构结构的知识转移、non-IID 公平性、恶意客户端、错误反馈闭环与版本陈旧仍未解决。第五，多模态和具身系统虽适合“端侧实时感知、云端高层推理”，却对断连、物理安全和尾延迟更敏感。第六，隐私机制必须和效率一起扩展，加密或差分隐私不能只在小规模模拟中评估。

部署决策清单。

• 若任务窄、离线和隐私优先，先验证纯端是否已达质量门槛；不要为了“协同”增加云依赖。
• 若请求难度呈明显两群且置信度可校准，用 assignment/cascade；同时保留 abstain 与断网降级。
• 若某些层/阶段极重且中间激活可压缩，评估 division/offloading；必须用真实设备与网络寻找切点。
• 若任务天然有规划、检索、执行、验证角色，用 task-level mixture；显式定义 DAG、重试和工具幂等。
• 若输出长、草稿与目标分布接近、云验证可批量，考虑 token mixture；先测接受率随任务和网络的变化。
• 若需求是长期个性化，选择蒸馏、adapter 或双向学习；先定兼容接口、隐私预算、聚合和回滚策略。

建议的可复现/评测协议。

1. 冻结清单：公开端/云模型与精确版本、tokenizer、量化/剪枝、上下文长度、提示模板、解码参数、adapter 和代码提交；记录设备 SoC、RAM、OS、运行时、云 GPU、地区与计费。
2. 数据划分：至少含 IID、按用户 non-IID、时间漂移和分布外测试；训练/路由校准/最终测试严格分离；报告每客户端样本数与隐私授权。
3. 基线：同质量门槛下比较纯云、纯端、静态 fallback、最接近的协作方法与 oracle 路由；division 加无切分和最佳静态切分；speculation 加目标模型普通解码及同硬件自推测。
4. 网络矩阵：本地 Wi-Fi、蜂窝和弱网 trace 分开跑，控制 RTT、上下行带宽、抖动、丢包和断连；同时测试冷/热 cache、云队列与端侧并发负载。
5. 质量：报告任务正确性、事实/证据忠实、生成偏好和安全违规；speculative 方法说明是否保持目标分布；路由报告 calibration、误上云、误留端和 abstention。
6. 系统：报告 TTFT、TBT、端到端 P50/P95/P99、吞吐、峰值内存、端侧能量、云 token/实例成本、上/下行字节、往返轮数、失败与恢复时间；所有统计给重复次数和置信区间。
7. 训练：报告通信轮数、每轮字节、参与率、掉线、全局与逐客户端质量、公平性分位数、收敛时间，以及 poisoned/陈旧更新下的鲁棒性。
8. 隐私安全：先声明攻击者能力，再测成员/属性/重构、提示泄漏、投毒与后门；报告差分隐私参数或密码协议，并把其计算、通信和质量代价计入总账。
9. 消融：逐项关闭路由器、自评估、压缩、缓存、early exit、adapter 或 verifier；扫描阈值、切点、草稿长度/树预算，画质量—延迟—费用—隐私 Pareto 前沿，不用单一加权分遮蔽取舍。
10. 失败演练：测试云超时、网络中断、模型/词表版本错配、缓存过期、设备过热和恶意响应，验证降级、幂等重试、审计日志和回滚。

最终的部署结论应是条件句，例如“在指定模型、真实网络 trace、质量不低于某阈值且隐私策略允许上传脱敏表示时，方案在 P95 延迟和费用上占优”。这比脱离条件宣称“边云协同更快、更准、更隐私”更忠实于本综述提供的证据。