ICEFROG：让“冻结多少层”成为 GPU 集群调度变量

1. 论文解决什么问题

深度学习训练作业长期占用昂贵 GPU，集群通常同时面对排队、低利用率和通信扩展性差三类问题。已有调度器主要使用两种手段：GPU sharing 让多个低占用作业共用一张卡；elastic training 随负载增减作业的 GPU 数，Pollux 一类系统还会联动 batch size。ICEFROG 观察到第三个可调维度：训练过程中冻结网络前部若干层。被冻结层仍参加前向计算，却不再做反向梯度计算和梯度同步，因此每步更快、显存和计算占用也可能下降。

难点是“每步更快”不等于“更快达到精度目标”。冻结太早或太多会减慢收敛，固定 epoch 比较会把少做的优化工作错算成收益。冻结还会改变显存、利用率和多 GPU 扩展曲线；若调度器继续使用未冻结时的 profile，既会漏掉安全共置机会，也会给作业分错 GPU 数。ICEFROG 的答案包含两个尺度：作业内用 effective progress 把物理吞吐与精度代价折成同一单位；集群内用 IceShare 比较每个作业在不同资源配置下距离自身最佳 TTA 有多远，再联合选择 GPU 数与共享状态。

ICEFROG 是一个 GPU 集群资源调度系统，不是新优化器。它也不假设冻结必然不损失精度，目标并非固定 epoch 吞吐。论文首次把 layer elasticity 明确接入集群调度：冻结层数可以增加，也可以随梯度统计变化而减少，也就是重新解冻。这里的“层弹性”因此比传统单向 layer freezing 更宽。

2. 前置知识：一次训练迭代到底做了什么

监督训练的一次迭代先从数据集中取一个 mini-batch。前向传播依次经过网络各层，保存反向所需的激活并计算损失；反向传播从输出端向输入端应用链式法则，得到每个可训练参数的梯度；优化器再用梯度更新参数。单 GPU 时，迭代时间可粗分为前向时间、反向时间和框架开销。数据并行时，每张 GPU 持有模型副本、处理不同样本，还要在更新前同步梯度。全局 batch 等于 GPU 数 a 乘每卡 batch m，即 M(a,m)=a·m。

冻结一层的含义是把该层参数从本轮优化中排除。由于后续层仍需要它的输出，前向传播大体保留；从冻结边界往输入方向的参数梯度计算可以跳过，这些参数也无需跨 GPU 同步。若前层已学到较稳定的通用特征，节省的反向工作可能大于收敛损失。反之，若前层仍在快速变化，冻结会丢掉有用更新，需要更多迭代甚至无法达到预期质量。

为什么通常冻结“前部连续层”，而非任意挑层？连续前缀形成清楚的反向截断点，能真正省掉一段计算和通信。LayerOut 等按统计量选择离散层的方法可能没有这种端到端时延收益。FreezeOut 则逐步把层的学习率降为零，但依赖控制冻结程度的超参数。Egeria 能重新解冻，却需要在线量化参考模型和额外前向，论文认为其实现复杂、CPU 开销高且可能引入量化误差。ICEFROG 只读取梯度统计和系统 profile。

3. 为什么现有 baseline 会失败

Lucid 关注共享：根据显存和 GPU 利用率决定能否把作业装进同一张卡，却看不到冻结后的占用下降。Optimus 关注资源弹性：依据 GPU 数到吞吐的曲线分配卡，但冻结改变反向计算量和同步数据量，旧曲线会失真。Pollux 联合资源与 batch 弹性，并用 goodput 处理 batch 对统计效率的影响，却没有把冻结层数纳入配置空间。把 FreezeOut 直接装到这些系统上仍不够，因为冻结策略不会随当前 GPU 数、每卡 batch 和共享状态重新求解。

GPU sharing 的动机实验在 V100 上把两个冻结 50% 层的 MobileNetV2 任务放到一张卡。层无感调度器查看未冻结 profile，判断干扰过大而串行；层感知调度器看到冻结后的资源占用，选择共置。尽管单个作业略慢，集群总延迟接近获得 1.4× 加速。这个例子说明调度器需要知道“此刻冻结到哪里”，不能只在作业提交时打一次标签。

减小 batch 也可能降低占用，却不是等价替代。MobileNetV2/CIFAR10 在 V100 上，batch 32 每步 0.057 秒，batch 64 每步 0.074 秒。两个 batch-64 作业串行合计 4.81 小时；两个 batch-32 作业虽然可无明显干扰地共置，却要 4.94 小时。batch 减半使迭代数增加，参数访问与 kernel launch 也重复更多次。冻结层不改变为达到既定样本进度所需的基础 batch 数量，而是减少每步反向工作；其收敛代价由后面的 frozen penalty 单独补偿。

弹性训练的动机实验让一个全层 ResNet50 与一个冻结 50% 层的 ResNet50 竞争 24 张 V100，global batch 均为 512。层无感模型认为二者吞吐曲线相同，各给 12 卡；层感知模型知道冻结作业因通信减少可在更多 GPU 上继续扩展，于是先多给它资源。它更早结束并释放全部 GPU，全层作业也更早拿到 24 卡，所以普通作业同样受益。这是典型的集群传导效应：局部看似“不平均”的分配，可能降低两者平均 JCT。

4. 从目标反推指标：TTA 与有效进展

系统优化的目标是达到指定验证指标的时间，即 time-to-accuracy（TTA），而非跑完固定 epoch 的时间。论文定义：

T_acc = T_age + P / E　（式 1）

T_age 是作业从提交至今已经过去的时间，包含等待和已执行时间；P 是若不开层弹性，从当前状态到目标精度尚需处理的样本数，实践中由最大训练 epoch 与每 epoch 样本数相乘得到；E 是单位墙钟时间完成的“有效样本进展”。因此 P/E 是预测剩余时间，二者相加才是从提交开始计的 TTA。该模型要求用户给出可达的目标验证指标，论文在任务构造中选择了全层训练和冻结训练都能达到的目标。

第 t 个训练迭代的有效进展为：

E_t(a,s,m,ℓ) = ψ_t(ℓ) · T(a,s,m,ℓ)　（式 2）

a 是分配给作业的 GPU 数；s 表示是否共享 GPU；m 是每卡 batch；ℓ 是从网络输入端起冻结的层数；T 是 layer-aware throughput，即每秒真实处理样本数；ψ 是 frozen penalty，把一个冻结样本折成相对于全层训练的有效进展。论文为简化推导假设没有 gradient accumulation，global batch 固定为 a·m；已有 Pollux、SDP 技术可扩展到梯度累积。直觉上，吞吐回答“跑得多快”，惩罚回答“每个样本还值多少”，乘积才可用于比较冻结与不冻结配置。

式 1 与式 2 连起来解释了设计方向：在 T_age 和 P 给定时，最大化 E 就最小化预测 TTA。冻结更多层会推高 T，却通常压低 ψ；最优点不必是零冻结，也不必是允许范围的最大冻结。

5. Frozen penalty：公式、变量与直觉

论文用梯度方差近似被冻结更新所代表的优化进展：

ψ_t(ℓ) = σ²_t[ℓ+1:L] / (σ²_t0[1:ℓ] + σ²_t[ℓ+1:L])　（式 3）

L 是总层数，t0 是开始应用当前冻结边界的迭代，t 是当前迭代。σ²_t0[1:ℓ] 是冻结当刻前 ℓ 层梯度方差的聚合量，可理解为此后跳过的优化信号；σ²_t[ℓ+1:L] 是当前仍训练的后部层梯度方差。分子也出现在分母中，所以 0<ψ≤1。前层在冻结时梯度方差已接近零，第一项很小，ψ≈1；被冻结部分仍活跃时，ψ 下降，同样数量的物理样本只能算较少有效进展。

额外迭代数的推导是式 3 的核心。当前被冻结前缀的梯度为零，当前每一额外迭代可观察到的方差近似为 σ²_t[ℓ+1:L]。要累计补回冻结时丢失的 σ²_t0[1:ℓ]，相对基础迭代要多跑：

1/ψ_t(ℓ) − 1 = σ²_t0[1:ℓ] / σ²_t[ℓ+1:L]。

例如仅为手算说明，若冻结时前缀方差为 20，当前未冻结部分方差为 80，则 ψ=80/(20+80)=0.8。原本还需 1000 次全层等价迭代，就要安排 1000/0.8=1250 次冻结迭代，多出的 250 次正是 (1/0.8−1)·1000。若冻结使真实吞吐从每秒 100 样本升到 140，effective progress 从 100 变成 0.8·140=112，仍值得冻结；若吞吐只升到 120，则有效进展 96，应该少冻或解冻。数字是按论文公式构造的教学例子，不是论文测量点。

该指标并不导致“只增不减”的冻结计划。随着训练继续，冻结时保存的 σ²_t0[1:ℓ] 固定，而未冻结部分当前方差可能逐渐减小，ψ 会下降；Layer Tuner 重新最大化 E 时可能缩小 ℓ，恢复部分层。ResNet18/CIFAR10 的验证从第 50 epoch 起冻结 25% 或 50% 层，目标 top-1 为 94%。不补偿时，全层训练所需迭代不足以让冻结任务达到目标；式 3 预测的迭代点则晚于实际达到目标的点，说明估计可覆盖精度恢复。图中第 51 epoch，普通冻结轨迹有 196 iterations，按惩罚缩放的轨迹有 204 iterations，后者的梯度方差贴近全层训练。

6. DDP 的 layer-aware throughput

DDP 下吞吐定义为：

T(a,s,m,ℓ) = M(a,m) / T_iter(a,m,ℓ) · λ(s,m,ℓ)　（式 4）

M=a·m 是 global batch，T_iter 是每步墙钟时间，λ 是共享造成的速度系数。没有共享干扰时，迭代被拆成前向 T_fwd、反向 T_bwd 和梯度同步 T_sync。反向与同步可重叠，因此不是简单相加，而用可学习指数 γ≥1 拟合：

T_iter = T_fwd(m) + (T_bwd(m,ℓ)^γ + T_sync(a,ℓ)^γ)^(1/γ)　（式 5 的层感知写法）

冻结对完整前向影响很小，主要改变后二项。令 θ_ℓ 为未冻结层 FLOPs 占总 FLOPs 的比例。反向时间不是按“冻结层数比例”线性下降，因为 kernel launch 等固定成本仍存在，ResNet18、ResNet50 与 YOLO 的实测呈次线性：

T_bwd(m,ℓ) = α_flop + β_flop·θ_ℓ^γflop·T_bwd(m,0)　（式 6）

α_flop 吸收 kernel launch 固定开销，β_flop 是尺度系数，γ_flop 拟合曲率；当 γ_flop<1，θ 下降时反向时间次线性下降。论文在单张 A800 上对每个点平均 20 iterations 降噪，ImageNet 每卡 batch 200、CIFAR10 为 256、YOLO 为 16。

令 ω_ℓ 为未冻结参数字节数占总参数字节数的比例。同步传输量与参数量近似线性：

T_sync(a,ℓ) = α_sync + β_sync·ω_ℓ·T_sync(a,0)　（式 7）

α_sync 表示启动通信的固定成本，β_sync 拟合通信尺度，T_sync(a,0) 保留 GPU 数和网络对全层同步的影响。由此可见，同样冻结 50%“层数”的两个网络未必同样快：若冻结的是 FLOPs 很小但参数很多的层，θ 与 ω 会给出不同答案。论文模型除 YOLO 与 DDPM 的最大 APE 分别为 12.3% 和 17.7% 外，其余模型最大 APE 不超过 10%；即便前两者误差较大，模型仍能捕捉随冻结层数变化的方向。

7. SDP、PP 与 HP：冻结影响为何不同

大模型即使冻结多数层也常保持高 GPU 利用率，GPU sharing 通常没有空间；收益主要来自更准确的并行时间建模。SDP（论文术语，对应把权重、梯度和优化器状态跨卡切分的 sharded data parallelism）在前向和反向按需 all-gather 参数。前向 all-gather 与计算重叠，冻结只少量减少激活内存分配，论文认为几十毫秒相对迭代可忽略。反向则由梯度计算 T_bwd^grad(m,0) 与参数 all-gather T_bwd^para(a,0) 重叠：

T_bwd(a,m,0) = ((T_bwd^grad)^γlm + (T_bwd^para)^γlm)^(1/γlm)　（式 9）

加入冻结后，计算支路按 θ_ℓ 次线性缩放，参数通信支路按 ω_ℓ 线性缩放，再以 γ_lm 合并（式 10）。α_flop 与 α_para 分别表示计算 kernel、NCCL 通信 primitive 的启动成本，β_flop 与 β_para 是拟合系数。DDP 只在梯度同步时通信；SDP 连参数都要收集，所以不能套用 DDP 曲线。

PP 把模型切成 p 个顺序 stage。第 j 阶段前向包括计算 T_fwd^j 与向下一阶段传激活 T_act^j，反向包括 T_bwd^j 与向前一阶段传梯度 T_grad^j。式 11 对所有 stage 求和；最后一个 stage 的激活外传和梯度接收项置零。令 F(ℓ,j) 返回冻结前 ℓ 层中落在 stage j 的层数。式 12 保留全部前向，只计算未冻结层的反向；若后继 stage 已无须反传，则相邻 stage 间梯度传输也可消失。纯 PP 时 GPU 数等于 stage 数。

HP 同时使用 pipeline replicas d 和每副本 stage 数 p，总卡数 a=d·p。每个 stage 在副本之间还要同步未冻结参数梯度：

T_sync(p,d,ℓ)=Σ(j=0…p−1) T_sync^j(d,F(ℓ,j))　（式 13）

再用式 5 的重叠形式合并梯度计算与副本同步。论文在 LLaMA-3B/SQuAD V2 与 LLaMA-7B/SST2 上验证 SDP、PP、HP；受显存限制，资源分配单位为 4 GPU，最大预测误差 13.4%。物理消融把 SDP/HP 专用模型换成 DDP 模型，高 job load 下 LLaMA JCT 差距超过 1.1×，证明并行语义会实质改变调度。

8. GPU sharing：预测、规则与失败保护

ICEFROG 不尝试精确回归每一对作业的共置 slowdown，而先做“能否安全共享”的分类。它用每卡 batch m、未冻结 FLOPs 比 θ_ℓ、未冻结参数比 ω_ℓ 作为线性回归输入，分别预测 GPU utilization 与峰值显存，参数记作 θ_util 和 θ_mry。候选组合必须同时满足：预测显存之和不超过卡容量；预测利用率之和不超过 100%。显存预测额外乘 1.1 安全系数防 OOM。

论文的式 8 把共享速度系数写成分段规则。候选不处于共享状态，或 (m,ℓ) 不满足上述两条容量规则时，共享候选的 λ 记为 0，表示该共享配置不可选；可安全共置时设为 0.9。这里的 0 不是说独占训练吞吐为零，而是该“共享分支”无效。0.9 不是对所有 pair 的精确性能预言，只给调度器一个保守收益信号。论文在 2× job load 下扫描 0.6 到 1.0，0.9 的平均 JCT 最好，整体变化不大。

运行时还有闭环保护。若共置后采样到的 GPU utilization 不稳定，系统按提交时间驱逐 packed job，让它回到后续调度。实验里通常只共置两个作业，因为三个作业的利用率之和往往超过 100%。仿真把显存和利用率回归结果加入高斯噪声；即使估计误差到 100%，平均 JCT 最多增至约 1.09 倍，说明二元容量规则和固定 slowdown 比脆弱的精确干扰回归更稳。

9. Model Trainer 到 Cluster Scheduler 的完整数据流

1. 提交与边界。用户提交 DLT workload 及一个 Model Trainer 实例，声明允许的 GPU 数范围和冻结层数范围。物理端到端实验把最大可冻结层数统一设为总层数的 90%，但系统接口允许用户限制范围。
2. 采样。Model Profiler 在线收集迭代运行时间、逐层梯度统计、峰值显存和 GPU utilization。系统参数向量包括 α_flop、β_flop、γ_flop、α_sync、β_sync、α_bwd、β_para、γ、θ_util、θ_mry（式 14）。开始时随机初始化；经历更多 GPU 数和冻结配置后，模型逐渐准确。
3. 作业内调参。给定调度器分来的 a 和共享状态 s，Layer Tuner 枚举合法 m,ℓ，求 (m*,ℓ*)=argmax E(a,s,m,ℓ)（式 15）。资源重分配时必算一次；每个 epoch 开头也重算 frozen penalty 和补充迭代数。用户也可用自己的冻结插件替代层选择算法。
4. 候选 TTA。Cluster Scheduler 对作业 k 的每个合法 GPU 配额 a，先让 Layer Tuner 取最佳 m,ℓ，再算 T_acc,k(a)=T_age,k+P_k/max E(a,s,m,ℓ)（式 16）。
5. 全局选择。每 300 秒把所有作业的候选 TTA 送入 IceShare ILP，选择等待、独占卡数或单卡共享。ILP 只决定数量与共享类别，不把节点拓扑放进搜索。
6. 放置与执行。求解后沿用论文引用的 placement policy 把数量请求映射到具体节点，Model Trainer 执行新的 batch 与冻结边界。checkpoint 支持资源重分配；新的 profile 再进入下一轮，形成反馈环。

这条链路中，Layer Tuner 与 Cluster Scheduler 不是两个互不相关的贪心器。调度器评价某个 GPU 数时，分母用的是该资源下可达到的最大有效进展；因此“给几张卡”和“在这些卡上冻多少层、每卡放多少样本”已经嵌套联合。共享同样通过 s 和 λ 进入候选。

10. IceShare ILP：变量、目标与约束

设集群有 M 张 GPU、作业集合 J={j1,…,jN}，作业 k 的合法 GPU 配额集合为 A_k。论文定义：

IceShare_k(a)= min(a'∈A_k) T_acc,k(a') / T_acc,k(a)　（式 17）

分子是该作业合法配置里的最小 TTA，分母是当前候选 a 的 TTA，所以比值不超过 1；越接近 1，当前资源越接近该作业自身潜力。它不是跨作业直接比较吞吐，也不是假设“卡越多一定最好”。如果通信平台期使 16 卡比 8 卡慢，分子仍会选 8 卡的较小 TTA。A_k 在原文排版中表述为 GPU 分配范围；共享只为接受单 GPU 训练的作业考虑。

二元矩阵 X 有 |J| 行和 M+2 列。x_k,a=1 表示作业 k 选择配置 a；常规列表示 GPU 数，额外两列表示零 GPU（等待）与 GPU sharing。作业权重为 w_k，论文评测中所有作业取相同权重。目标是：

arg max_X min(k∈J) [w_k · Σ(a∈A_k) x_k,a·IceShare_k(a)]　（式 18）

这是 max-min：提高当前最差的加权 IceShare，而不是最大化瞬时总吞吐。硬约束有两类。第一，每个作业必须且只能选一个候选，形式为 Σ_a x_k,a=1，选零卡就处于等待。第二，所有被选独占配额与共享所消耗的卡数之和不得超过 M；共享候选还须通过显存、利用率规则。所有 x 都是 0/1。ILP 得到数量层面的最优解后才做拓扑放置，因此目标本身不区分同机与跨机网络。

一个教学手算：集群仅 4 卡，作业 A 在 1/2/4 卡的预测 TTA 为 100/60/50 分钟，IceShare 为 0.50/0.83/1；作业 B 为 80/50/45 分钟，对应 0.56/0.90/1。若 A、B 各取 2 卡，最小 share 为 0.83；若 A 1 卡、B 2卡，最小值 0.50；若 A 2卡、B 1卡，最小值 0.56。等权 max-min 会选 2+2。若冻结让 A 的 1 卡 TTA 降到 55 分钟，其 share 变成 0.91，系统便可能选 A 1卡、B 2卡，并把剩余卡留给第三个作业。这展示层弹性如何改变全局可行解；数字仅用于演算式 17—18。

11. 一个端到端例子：从梯度到资源决策

设一个 20 层作业允许 1、2、4 卡，当前尚余全层等价样本 P=720000，已提交 30 分钟。Profiler 在 2 卡、每卡 batch 64 下测得：不冻结每秒 800 样本；冻结前 10 层后，每秒 1200 样本。冻结时前缀梯度方差为 30，当前后缀为 70，因此 ψ=70/(30+70)=0.7，冻结配置的有效进展是 840 样本/秒，略高于全层的 800。Layer Tuner 在此资源下会选择冻结 10 层。

按式 16，全层剩余时间为 720000/800=900 秒，冻结后为 720000/840≈857 秒。加上相同的 30 分钟 age，不改变这两个候选的先后。若 4 卡吞吐因同步开销只升到 900，而其最优冻结配置有效进展为 1000，则 4 卡剩余 720 秒；2 卡候选的 IceShare 是 (30分+12分)/(30分+14.29分)≈0.948。注意 age 会压缩 share 差异：已经等待很久的作业，少量运行时差异在总 TTA 中占比较小。

下一 epoch，未冻结后缀方差降为 30，而冻结时前缀仍是 30，ψ 变成 0.5；若吞吐仍为 1200，有效进展只剩 600，低于全层 800。Layer Tuner 会减少冻结层数或解冻。与此同时，若冻结配置的预测显存为 30 GB、利用率 42%，另一小作业为 35 GB、45%，乘 1.1 后总显存 71.5 GB，利用率 87%，在 A800-80GB 上可共享；若另一作业显存是 45 GB，则安全系数后总计 82.5 GB，共享分支直接判无效。由此贯通梯度统计、有效进展、TTA、共享筛选和 ILP，不需要调度器猜测“冻结 50% 大概快多少”。

12. 实现、工作负载与复现所需设置

Model Trainer 的全部模块基于 PyTorch 2.4 实现，Cluster Scheduler 是 Kubernetes 上的定制调度器，调度周期 300 秒。checkpoint 放在 CephFS 14.2.8，Kubernetes 版本为 1.18.2。端到端实验把每个任务最大冻结范围设为总层数 90%。论文代码存档记录为 Zenodo 14830066；要复现论文口径，应以该版本、论文中的任务表和本地原文存档交叉确认，而不是自行替换模型实现后仍称为严格复现。

任务覆盖 CIFAR10、ImageNet、PASCAL-VOC、SQuAD V2、SST2，模型包括 ResNet18、ResNet50、MobileNetV2、YOLO、DDPM、LLaMA-3B 和 LLaMA-7B。任务按 GPU time 分成 small、medium、large、extra-large；目标验证指标选择全层与冻结训练均可达到的值。batch size 在表列范围内按以 2 为底的指数序列采样。LLaMA 的并行吞吐实验以 4 GPU 为资源分配单位。frozen penalty 的单独证据还使用 ResNet18/CIFAR10、batch 256、单 GPU，并从第 50 epoch 冻结 25% 或 50%，目标 top-1 94%。

trace 构造来自 Philly trace 第 3 至第 6 小时，随机采样 120 jobs，定义为 1× load；W× load 采样 120·W 个作业。原 trace 给出提交时间、GPU 请求和持续时间，系统保留前两项，再按“持续时间×GPU 请求”匹配任务表中 GPU time 相近的 DL task。物理合成 trace 的 120 个作业在前 4 小时提交；成本所限只运行 3 条物理 trace。因此复现时要保存抽样随机种子、任务映射和三条具体 trace，否则均值不一定一致。

baseline 为 Lucid、Optimus、Pollux。三者都加入调优后的 FreezeOut，记作带“+”版本；“tuned”表示依据 GPU 请求与 batch 范围用 effective progress 调 FreezeOut 超参数。Lucid、Optimus、ICEFROG 固定 global batch，Pollux 动态配置 batch。Optimus 额外使用 ICEFROG 的共享预测，流程是先选 pair 共置，再把剩余资源弹性分配；Pollux 因 batch scaling 提高利用率，论文未给它共置机会。公平复现必须保留这些增强，不能拿裸 baseline 对比。

13. 物理实验与模拟器的准确设置

物理集群有 12 个 GPU 节点，每节点在实验中使用 4 张 A800-80GB，共 48 GPU；机器实际有 8 卡，但作者只选编号 0—3，以增加参与实验的节点数和多节点通信。每节点有一条 200 Gbps HDR InfiniBand、64 CPU cores、256 GB 内存，GPU 通过 PCIe 3.0 连接。这个细节会影响复现：把同样 48 卡压在 6 个八卡节点上，跨机通信比例不同，不能视为等价拓扑。

模拟器先对不共享配置测量 GPU memory、GPU utilization、计算时间 T_comp 和同步时间 T_sync，GPU 分配最多 48；枚举不 OOM 的 batch 与冻结范围，未测配置用线性插值。共享部分只实测小任务两两组合的真实吞吐，以控制构建成本。梯度统计组合很多，作者仿照 Pollux：在训练进度 25%、50%、75% 处分别开始冻结 25%、50%、75% 层，再加不冻结基线，因此每个 batch 有 10 组梯度统计；每个 epoch 记录逐层梯度方差与梯度平方范数，batch 按 2 的幂增加，未见组合对最近 batch 和冻结比例线性插值。

保存与恢复会使模拟结果偏离物理集群。作者分别设重分配开销为 30、60、90 秒，用 ICEFROG 相对三种 policy 的 JCT speedup 与物理实验对齐；60 秒差距最小，后续仿真固定用 60 秒。大规模实验同时把 job load 和集群容量放大 5×、10×、20×，最大即 960 GPU。因仿真成本，每个大规模点只来自一条 workload，不是多 trace 平均。读结果时必须把 48-GPU 三 trace 的实测与 960-GPU 单 workload 仿真分开。

14. 主要结果：收益来自联合调度

48-GPU 物理端到端实验中，ICEFROG 相对 Lucid、Optimus、Pollux 的平均 JCT speedup 分别是 1.94×、1.84×、1.51×，等价于论文摘要和引言概括的平均 JCT 降低最高约 48%、46%、36%。相同基线上只加 tuned FreezeOut，Lucid、Optimus、Pollux 分别仅加速 1.17×、1.08×、1.07×。单作业 layer elasticity 最多可加速 1.9×，却不会自动转化成同等集群收益；冻结参数必须跟随资源与 batch 动态变化。

ICEFROG 对不同 DL task 的 TTA 相比 Pollux+tuned FreezeOut 提升 1.2—1.8×。物理 trace 中 YOLO 与 MobileNetV2 的时间轨迹显示，训练前进时冻结层数总体逐渐增加，后期配置趋稳；这不是硬编码的线性冻结计划，而是每 epoch 的 effective-progress 选择。Optimus 的“先 packing、后弹性分配”只使被共置作业获得 1.03×，说明两种局部策略串联不能代替联合候选评估。

模拟器跨 job load 的结果更宽：相对 Lucid+、Optimus+、Pollux+，ICEFROG 分别有 1.71—2.20×、1.34—4.21×、1.10—2.80× speedup，负载越高通常越明显。这里的“+”都表示 tuned FreezeOut。仿真范围不是物理结果的置信区间，尤其 Optimus+ 的 4.21× 出现在特定模拟负载；不能写成真实 48-GPU 集群普遍达到四倍。

这些结果的因果链应分层阅读。首先，冻结必须在同一目标验证指标下减少单作业 TTA；只报告 step time 会隐藏额外迭代。其次，层感知模型必须让调度器改变共享与 GPU 配额；若冻结策略不随资源变化，得到的只是 tuned FreezeOut 的单作业收益。最后，一个作业提前结束会释放 GPU、缩短其他作业排队，才形成平均 JCT 改善。论文依次用精度恢复实验、吞吐预测误差、物理端到端对比和模拟器敏感性支撑这四个环节。反过来，1.94× 是相对 Lucid 的 JCT speedup，不是单模型训练吞吐；1.2—1.8× 是任务 TTA 对 Pollux+FreezeOut 的范围，也不能替换全 trace 的平均 JCT；36%—48% 是对三种调度器的降幅区间，并非每个作业都落在其中。区分样本吞吐、有效进展、TTA 与 JCT，才能避免把不同分母的数字拼成不存在的结论。

15. 消融、敏感性、开销与扩展性

• 精度代价模型：把 frozen penalty 换成 tuned FreezeOut，同时保留 layer-aware throughput，跨 job load 的 JCT 约慢 1.1×，说明补充迭代估计参与了收益。
• 大模型吞吐：以 DDP 模型替代 SDP、HP 专用模型，高负载下 LLaMA 的 JCT 差距超过 1.1×。
• batch 弹性：在 ICEFROG 上再启用 batch-size scaling，集群延迟继续改善 1.16—1.21×，证明 batch elasticity 与 layer elasticity 可叠加。
• sharing：共享的收益随负载和资源竞争增大；关闭共享后高负载退化更明显。固定 slowdown 在 0.6—1.0 间变化不大，0.9 最优。
• 调度周期：作者扫描 1—10 分钟；太短增加 checkpoint/context switch，太长错过配置变化，5 分钟最好，因此实现采用 300 秒。
• 目标函数：高负载时 IceShare 比 Pollux 的 Fitness 更好，因为前者倾向让可冻结作业共置、释放资源并让更多作业提前完成。缩小一半作业的冻结范围后，未缩小范围的作业从 IceShare 获得更高 JCT speedup，形成允许更大冻结范围的激励。
• 预测误差：2× load 下给 throughput 加至 50% 高斯噪声，JCT 增加 17%；共享显存/利用率预测误差到 100%，JCT 最多约为原来的 1.09 倍。

求解开销有两组口径。设计章节报告 48-GPU ILP 搜索最坏 11.5 秒；物理端到端各轮优化 IceShare 平均 3.6 秒、最大 8.4 秒，二者对应不同观测范围，不矛盾。扩容后变量数迅速增长，未经处理可达数百秒。系统缓存上一轮解，不在 ILP 中搜索拓扑，对大量 GPU 请求只分配整节点，并把集群和作业切成互不相交分区并行求解。5×、10×、20× 扩展中，分区把平均开销保持在 10 秒内，约占 300 秒周期的 3%；20× 时密集搜索空间下，分区方案的 JCT 还优于未分区求解。论文称其与理想方案性能可比，但最大规模每点只有一条 workload，应谨慎外推。

16. 结论边界、局限与复现协议

ICEFROG 把冻结后的收敛代价、反向计算、通信、显存和利用率同时暴露给调度器。Effective progress 统一描述单作业的速度与质量；Layer Tuner 在每种资源下选择层数和 batch；IceShare 再用 max-min ILP 联合处理等待、独占与共享。冻结本身早已用于加速，论文新增的是这套调度状态和决策方式。物理实验中，专用调度明显优于给旧调度器外挂 FreezeOut。

局限同样明确。论文主要评估同构 A800，异构 GPU 与不同网络链路留作未来工作；expert parallelism、sequence parallelism 等也未覆盖。frozen penalty 以梯度方差补偿优化进展，是经验模型而非任意任务的收敛保证，用户仍须给出可接受的目标指标和冻结范围。sharing 用线性占用回归及固定 0.9，适合筛选低干扰 pair，不提供精确多作业干扰预测。ILP 忽略拓扑，真实 placement 才处理节点位置；换成慢网络后吞吐与最优配额可能变化。物理规模只有 48 GPU、三条 trace，大规模结论来自校准模拟器且每点单 workload。系统优化 JCT/TTA，没有同时处理 deadline、能耗、成本或异质用户权重。

可执行复现协议如下：固定 PyTorch 2.4、Kubernetes 1.18.2、CephFS 14.2.8 和 300 秒周期；记录 A800-80GB、每节点仅用 4 卡、PCIe 3.0 与 200 Gbps HDR 拓扑；从 Philly 指定时段生成并保存 120-job 三条 trace；按论文任务表实现数据集、目标指标、GPU/batch 范围和任务比例；最大冻结设 90%，逐 epoch 保存逐层梯度方差与平方范数；分别 profile 全层的前向、反向、同步，再拟合式 6—13 与显存/利用率回归；用 1.1 显存安全系数和 0.9 共享系数；实现式 15 的 tuner 与式 17—18 的二元 ILP；baseline 保留 tuned FreezeOut、Optimus sharing 增强及 Pollux 动态 batch；同时报告目标精度是否达到、TTA、平均 JCT、按大小分组 JCT、求解时间和重分配次数。模拟器用 10 组冻结时点/比例统计、线性插值与 60 秒重分配开销，并把物理和仿真表分开。

复现验收至少做四项 sanity check：ψ=1 时 effective progress 应退化为 layer-aware throughput；ℓ=0 时吞吐模型应回到全层 profile；被判不可共享的候选不得进入 ILP 可行解；每轮所有作业恰选一个配置且总 GPU 不越容量。随后先重现 ResNet18 的 94% 精度恢复、MobileNetV2 的共享分类和 ResNet50 的多 GPU 曲线，再跑三条端到端 trace。这样即使最终 JCT 数字因硬件差异变化，也能定位偏差来自收敛模型、吞吐模型、共享预测还是调度求解。