大语言模型训练里最耗算力的操作是矩阵乘法。用 FP16、BF16 跑这些 GEMM,数值稳,代价是显存和算力账单。于是有人往下压:FP8,再狠一点 FP4。压到四位,一个 GEMM 的理论吞吐能翻好几倍,问题也随之而来。

先问一个具体的问题:把模型里的某一层从 BF16 换成 FP4,训练会变差多少?

最直觉的答案是算数:比较量化前后的数值误差,误差大就说明这层扛不住。这个思路不够用。神经网络不同层对误差的敏感度差得很远,两层产生同样大小的量化误差,落到最终 Loss 上完全可以是两回事。某一层的激活值偏一点点,Loss 几乎不动;换一层,同样大小的偏差下去,Loss 明显抬起来。

所以真正要测的不是误差本身,而是模型对误差的敏感度。这就是 SNIP: An Adaptive Mixed Precision Framework for Subbyte Large Language Model Training 想解决的问题。它给每层每种量化方案估一个质量代价,再用整数线性规划(ILP)在效率约束下做全局分配。方法论的骨架集中在论文第四章,那一章只回答两个问题:量化怎么影响前向的 Loss,量化怎么影响反向传播和优化器更新之后的权重。

Frobenius 范数:先备一把尺

后面所有推导都用一个量来描述矩阵的大小,就是 Frobenius 范数。

说白了,把矩阵按行摊成一个长向量,再求这个向量的 L2 范数。比如

摊平这个动作让矩阵的比较变得可能。在 SNIP 里,这把尺子量四样东西:张量本身的规模(输入、权重、梯度有多大)、量化前后张量的整体偏差、Loss 对输入和权重变化的敏感程度、以及量化前后模型权重的偏离幅度。前两个量都是范数形式,比如

量的是原始权重和量化权重之间的整体距离,而

量的是 Loss 对权重变化的整体敏感程度。两个范数一乘一除,量化的影响就被估出来了。

把量化误差建模成随机扰动

论文把量化过程写成

$x$ 是高精度原值,$q(x)$ 是量化结果,$\delta_x$ 是误差。比如原值 1.2345 量化成 1.25,误差就是 0.0155。

然后论文做了一个关键的建模动作:把这个误差当成一个小的随机高斯扰动。这只是为了能做理论分析,不是说真实量化误差服从高斯分布。做了这个假设,误差的期望行为就好算了,下面两个定理才有意义。

Theorem 4.1:用梯度估输出变化

这里的 $g$ 是任意一个从 $d$ 维映到 $m$ 维的平滑函数,$\epsilon$ 是扰动尺度,$d$ 是输入维度。定理的前提是 $\delta_x$ 服从均值 0、协方差 $\frac{\epsilon^2}{d}I_d$ 的高斯分布,且 $g$ 的梯度是 $S$-Lipschitz 的、$S \ll 1/\epsilon^2$,结论以至少 0.99 的概率成立。

公式说的事很简单:输出的变化大致等于函数的敏感程度乘以扰动的大小。梯度范数大的函数,同样的扰动会带来更大的输出偏移。

$\lesssim$ 是省略常数系数的写法,这里不是等号,也不是精确上界。

Theorem 4.2:反过来用扰动估梯度

方向掉了个头。定理 4.1 是已知梯度、估扰动造成的输出变化;定理 4.2 是观察扰动造成的输出变化、反推出梯度的范数。注意左边是梯度范数的平方,这个平方在原文里很容易漏看。

现实意义在于:有些导数算起来太贵,往输入里掺一点已知尺度的高斯噪声,看输出变动多少,就能估计出梯度有多大。第四章后面遇到二阶导时,用的正是这一招。

前向:Loss Divergence

第一个指标要回答的是:量化之后,当前这次前向的 Loss 会不会变差。

公式里的 $L$ 是哪一层的 Loss

论文写的是

这里的 $L$ 是整个模型最终算出来的训练损失,不是第 $l$ 层的局部损失。把第 $l$ 层的输入和权重写成显式变量,只是在声明接下来要扰动这两个量,看全局 Loss 怎么动。

一个四层模型,前向是 Layer 1 到 Layer 4 再到 Loss。研究 Layer 2 的时候,这个 $L$ 背后其实藏着 Layer 2 之后所有层的计算。层号只是筛选变量,衡量的始终是全局。

输入和权重分开处理

对 Transformer 里的线性层

量化的输入和权重的扰动分别是

这些误差沿后续层传播,最后影响 Loss。直接算联合扰动太复杂,论文按输入和权重拆成两项,各自用定理 4.1 估:

再把两项按平方和开根合成:

这是丢掉交叉项之后的近似。交叉项的量级是 $O(|\delta X|\,|\delta W|)$,小扰动下确实比另外两项低一个量级。

两个式子合起来还是那句话:Loss 变化约等于模型敏感程度乘以量化误差大小。梯度范数管敏感度,误差范数管扰动,分母里的矩阵维度项来自定理 4.1 的归一化。

举个数:两个层的量化误差和矩阵尺寸都一样,但一层对输入的梯度范数是 2,另一层是 10,那后者的估计 Loss 变化是前者的五倍。同样的精度,截然不同的后果,这就是逐层分配精度的理由。

Definition 4.3:归一化之后的 Loss Divergence

原始 Loss 变化有量纲,不同模型、不同训练阶段没法横向比,所以论文除以了 Loss 本身:

$L$ 是未量化的 Loss,$L’$ 是量化后的。2.0 变成 2.2,$\Delta L=0.1$,Loss 相对上升 10%。指标从此变成无量纲的百分比,可以跨层、跨 checkpoint 比较。

反向:Weight Divergence

这是第四章更难的一段,也是很多人读 SNIP 会卡住的地方。

前向那节问的是「当前这一步的 Loss 变不变」。这一节问的是「梯度变不变,梯度变了会不会导致优化器更新出不一样的权重」。两个问题不一样。某次前向 Loss 几乎不动,梯度照样可能被量化改写,参数更新的轨迹就这样慢慢偏出去。

量化误差会顺着反向传播爬

前向是 Layer 1 到 Layer 4,反向是 Layer 4 回 Layer 1。如果 Layer 4 被量化了,受影响的不只是 Layer 4 自己的梯度,它还会通过反向传播波及 Layer 3、Layer 2、Layer 1。论文把第 $l$ 层的权重梯度写成

意思是这一层的权重梯度不只取决于本层的量,还取决于所有后续层 $j$ 的激活值、权重和输出梯度。当后续层的输入被扰动

时,

后续层权重被扰动时同理,只是把分母换成权重那一侧的维度项、分子里的梯度换成对权重的偏导。

麻烦在梯度对输入的偏导这一类项上,它是对梯度的梯度,也就是二阶偏导:

精确算这个的代价高到没法在每个训练步做。所以论文换了条路,用定理 4.2 绕过去:往末层掺小高斯噪声,比较加噪前后的梯度张量,用差值的 Frobenius 范数反推二阶导的范数。对应到论文 Figure 6 的训练流程,就是 Step 2(反向传播时加噪)和 Step 3(前向传播时加噪),各自需要额外一次不更新权重的前反向。

思路一句话:不硬算二阶导,用扰动前后的梯度差去摸它的量级。

AdamW 为什么也要一起建模

梯度不是终点。梯度交给优化器,优化器才决定权重怎么动。所以梯度的小偏移会被优化器放大或衰减成权重的偏移。

论文挑 AdamW 做分析,因为它是 LLM 训练的主流选择。AdamW 的一阶、二阶动量

偏差修正

最终更新量是 $\alpha$ 乘以偏差修正后的一阶动量再除以修正后的二阶动量开根号。$\alpha$ 是学习率,$\beta_1$、$\beta_2$ 是动量衰减系数,$\epsilon$ 是数值稳定项。

正常训练时梯度是 $g$,量化训练时梯度变成

动量、修正项、更新量跟着全变。问题收敛成一句:梯度被扰动之后,AdamW 吐出来的权重更新量会差多少?

引入 $h(g)$ 这一步在做什么

论文把 AdamW 的更新量整体打包成一个关于梯度的函数:

它凭什么能写成 $g$ 的函数?因为在第 $t$ 步、历史动量都固定的前提下,$m_t$ 和 $v_t$ 都只由当前梯度 $g_t$ 决定,所以 $h$ 确实只依赖当前梯度。写成函数形式,定理 4.1 就能直接套上去。

这里有个数学细节值得留一笔。把偏差修正严格代进标准 AdamW 更新式,分母其实是

而论文的 $h(g)$ 分母写的是 $\sqrt{v_t}+\epsilon$。两者并不相等。论文没有解释这个稳定项是怎么处理的,所以不该把 $h(g)$ 当成一字不改的代数恒等式。它的作用是让后续的敏感度分析有对象,不是为了在数值上逐位复现 AdamW。

对 $h(g)$ 再套一次定理 4.1

现在手上有两份梯度,$g$ 和 $g+\delta_g$,各过一遍优化器就得到 $h(g)$ 和 $h(g+\delta_g)$。两者之差就是量化造成的当前权重更新偏差。要估它的范数,把定理 4.1 用在 $h$ 上:

$NK$ 是梯度矩阵的元素个数。读法是:权重更新偏差约等于 AdamW 对梯度的敏感程度乘以梯度误差大小。

这一跳是第四章的关键接缝。前面一直在量化梯度差了多少,到这里才把梯度差换算成了权重差。

Definition 4.4:Weight Divergence

$N$ 是层数,$W_l$ 是无量化影响时第 $l$ 层被优化器更新后的权重,$W_l’$ 是有量化影响时的权重。

分母那一项是第 $l$ 层权重的 Frobenius 范数,除它是为了消除层的规模差异。大矩阵和小矩阵的绝对差值没法直接比,取相对偏离才公平。各层算完再取平均,得到全模型的参数轨迹偏移。

这个指标补上了前向指标看不见的半边:量化有没有让模型的更新方向跑偏。

两个指标为什么要一起用

只看 $\Delta L$ 会漏掉一类情况。某层换 FP4 之后当前 Loss 几乎不动,看起来安全,但它的梯度偏得厉害,经过 AdamW 累积下去,权重会明显离开正常训练的轨迹。这种层如果单看前向指标就会被判成低风险,然后在后面几步里慢慢把训练带歪。

所以论文在第五章 5.1 把两者加权成一个质量损失:

一个管前向,一个管反向和优化器更新。

举个两层的例子。两层都在考虑上不上 FP4:

指标 Layer A Layer B
Loss Divergence 0.1% 0.2%
Weight Divergence 8% 0.5%

只看前向,A 的变化比 B 还小,A 更像该上 FP4 的那个。加上权重偏离之后结论翻过来:A 的轨迹偏移是 B 的十六倍。A 属于典型的「当前 Loss 没事,参数更新已经跑偏」,只测前向会严重低估它的风险。

第五章:先逐层估,再联合求解

第四章给了工具,第五章把它变成决策。

SNIP 不是逐层各挑一个局部最优的精度,而是把所有层放进同一个优化问题一起解。

先估每种方案的两个数

每个层、每种量化选项,都要有两个数:质量损失,记作 $q$;效率收益,记作 $e$。质量损失就用上面那个 $Q=\Delta L+\Delta W$ 估,效率收益是这层用这个选项时贡献的 FP4 FLOPs 占比。

假设三层,每层在 FP8 和 FP4 之间选,各层 FLOPs 占比都是三分之一:

层 方案 质量损失 $q$ 效率收益 $e$
Layer 1 FP8 0.1 0
Layer 1 FP4 1.0 0.33
Layer 2 FP8 0.2 0
Layer 2 FP4 5.0 0.33
Layer 3 FP8 0.1 0
Layer 3 FP4 0.5 0.33

这些数字都是编的,只为了走通逻辑,不是论文的实验数据。

线性规划怎么写

决策变量是

它为 1 表示第 $i$ 层选了第 $j$ 种方案。目标函数

让所有层的总质量损失最小。约束有两条。每层只能选一个:

整机的 FP4 FLOPs 占比要达到目标:

$E_t=0.5$ 就是要求一半 FLOPs 跑在 FP4 上。$E_t$ 从 0 变到 1,最优解也从全 FP8 平滑滑到全 FP4,中间那些取值才是逐层混合精度真正在起作用的区间。

拿上面那张表试一下。目标 $E_t=0.5$,需要至少两层开 FP4。

Layer 1 加 Layer 2 开 FP4,质量损失 $1.0+5.0=6.0$,效率 $0.66$,达标但代价大。Layer 1 加 Layer 3 开 FP4,质量损失 $1.0+0.5=1.5$,效率同样是 $0.66$。第二个方案好得多。

ILP 做的就是这件穷举里的聪明版本:在满足效率下限的前提下,把低精度塞给不敏感的层,把高精度留给敏感的层。

流水线并行还得再加一条约束

多卡训练通常按流水线切分阶段,每个阶段的层同时在不同卡上跑。如果某个阶段被分到的都是 FP8、另一个阶段全是 FP4,快的等慢的,气泡吃掉了省下来的时间。

论文因此把 ILP 扩成带分组的背包问题:把每个流水线阶段当成一组,要求每一组自己都达到 $E_t/K$ 的效率,而不是只让整机总和达标。这样各阶段加速幅度接近,流水线才真正变快。

读的时候卡住的两个地方

这两个问题我自己读的时候反复绕了几圈,写下来省得下次再绕。

多层损失怎么合并

疑问是:前向的损失是不是把各层加起来?公式里没写多层怎么处理。

要分两件事看。第一,第四章的那个 $L$ 从一开始就是全局 Loss,不是逐层局部 Loss 的求和,所以那里没有「怎么合并」的问题,只有「扰动哪一层」的变量选择。第二,第五章确实把逐层的质量损失加起来当总成本,但那个加法发生在代理目标上,不是发生在真实 Loss 上。

论文没有完整展开怎么把全局的 $\Delta L$ 和 $\Delta W$ 精确拆成每种候选方案对应的那一项质量代价。麻烦在于某层的量化误差会顺着反向传播影响多个前面层的梯度,各层影响并不独立。所以准确的表述是:SNIP 用逐层估计搭了一个可优化的质量代理,再拿 ILP 分配精度,它算的不是所有层同时量化时的真实联合 Loss。

这条边界不影响方法可用,但读的时候得知道它在那儿。

$h(g)$ 的 $\epsilon$ 对不上

上一节说过,严格代入的稳定项是 $\epsilon\sqrt{1-\beta_2^t}$,论文写的是 $\epsilon$。训练早期 $\sqrt{1-\beta_2^t}$ 离 1 不远,差别可以忽略;但如果把 $h(g)$ 当成恒等式去做数值验证,就会在这一项上卡住。知道这是简化就够,不必当成错误。

整条链路

把第四章和第五章接起来,SNIP 是这么走的:

  1. 量化产生误差,把误差建模成小的高斯扰动。
  2. 用定理 4.1 拿梯度范数估扰动对输出的影响。
  3. 前向用梯度范数乘量化误差,估出 $\Delta L$。
  4. 反向看量化怎么改变梯度,二阶导用定理 4.2 加噪声绕过。
  5. 把梯度误差送进 AdamW 的 $h(g)$,估出权重更新的偏差。
  6. 加权得到质量指标 $Q=\Delta L+\Delta W$。
  7. 每层每个候选方案都算一遍质量损失和效率收益。
  8. 解 ILP,在效率约束下取全局最优的精度分配。

这些步骤不是一次性的。论文 Figure 6 的流程里,Step 1 到 4(收集统计、加噪、算偏差)和 Step 5 到 6(解 ILP、更新精度方案)是周期性交替的,所以精度分配会随训练阶段自己调整。论文 6.3 节的热力图也印证了逐层差异确实存在:末层 MLP 最敏感,MLP 的 down projection 次之,注意力里 V 比 Q、K 更敏感。这种结构不是套一层统一精度能摸出来的。

几个该记住的点

Frobenius 范数是全文的度量单位。 它量张量规模、量量化误差、量权重偏离,所有结论都建立在它的可比性上。

第四章的 $L$ 是全局 Loss。 只把当前层的输入和权重写成显式变量,是为了明确扰动谁,不代表损失是逐层算的。

前向和反向是两个问题。 前向问 Loss 变不变,反向问梯度变不变、权重更新偏不偏。一次前向 Loss 不动完全不保证训练轨迹没事。

$h(g)$ 的作用是把优化器塞进敏感度分析。 把 AdamW 的更新量写成一个关于当前梯度的函数,定理 4.1 才能套上去,梯度误差才换算得成权重偏差。它的分母做过简化,不是严格的 AdamW 恒等式。

$\Delta L$ 和 $\Delta W$ 缺一不可。 $Q=\Delta L+\Delta W$ 挡住了「当前 Loss 好看、参数轨迹已经在飘」这类误判,两层对比那个例子里差出十六倍。

逐层分配靠 ILP 全局求解。 逐层估出的质量损失和效率收益是输入,ILP 在效率下限的约束下找全局最优,不是每层各挑各的。

回到开头那个问题:换一层到 FP4 会怎样。SNIP 的答案是,别只看那层的数值误差,去看误差穿过整个训练流程之后留下了什么。前向留下 Loss Divergence,反向经过优化器留下 Weight Divergence,两个加起来才是这层真正的代价。有了这个代价,精度分配才谈得上优化。