
Quartet:原生 FP4 训练对大型语言模型可以是最优选择
通过“诱导尺度定律”比较量化训练方法是什么意思?
普通缩放定律(Scaling Law)描述的是:
模型参数量 $N$ 越大、训练数据量 $D$ 越多,验证 loss 越低。
论文在这里做了一个扩展:把前向精度和反向精度也加进缩放定律里,变成:
其中两个新引入的关键参数是:
$\mathrm{eff}_N$(参数效率):前向量化把模型“有效参数量”打了多少折。$\mathrm{eff}_N = 1$ 表示没有损失(和全精度一样),越小表示前向量化损伤越大。
$\mathrm{eff}_D$(数据效率):反向量化让模型需要多少额外数据才能达到同样的 loss。$\mathrm{eff}_D = 1$ 表示没有损失,越小表示反向量化损伤越大(需要更多数据才能补回来),即
怎么用这个定律比较不同量化方法?
- 先用全精度(或 FP8)跑一组不同大小的模型、不同数据量的实验,拟合出基础参数 $A, B, \alpha, \beta, \gamma, E$。
- 再对每一种量化方法(比如不同的前向/反向量化方案)单独拟合它的 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$。
比较标准非常简单:
如果方法 A 的 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$ 都比方法 B 高,就说 A 优于 B。
(因为同样的计算预算和数据预算下,A 能达到更低的验证 loss。)
这就是论文说的“通过诱导尺度定律比较量化训练方法”——不再只看某一个固定模型大小上的 loss 高低,而是看量化方法在参数效率和数据效率这两个维度上的整体表现。
简单总结:
- 评估损耗 = 验证集上的 loss(越低越好)。
- 诱导尺度定律 = 把前向/反向精度的影响也写进缩放定律里,用 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$ 来量化不同方法的损伤程度,从而公平地比较它们。
不是用神经网络那种“前向 + 反向传播”来拟合的。
这里的拟合是曲线拟合 / 非线性回归,属于数值优化问题,不是训练语言模型。
具体怎么做的
论文在附录 A.3 写得很清楚:
准备数据点
用全精度(BF16)跑一组不同规模的模型,记录它们在不同数据量下的验证 loss:- 模型大小 $N$:30M、50M、100M、200M
- 数据量比例 $D/N$:25×、50×、100×、200×、400×、800×
每个 $(N, D)$ 对应一个实测的验证 loss $L$。
要拟合的函数形式(无量化版本)
损失函数
用 Huber loss($\delta = 10^{-4}$)去拟合 $\log L$,而不是直接拟合 $L$。
这样做是为了让大 loss 和小 loss 的影响更均衡,也更符合缩放定律通常在对数尺度上比较的习惯。优化方式
这就是一个普通的非线性最小二乘 / 参数优化问题。
用任何标准的数值优化器(比如 L-BFGS、Adam、或者专门的曲线拟合库)去最小化上面的 Huber loss,求出最优的 $A, \alpha, B, \beta, \gamma, E$ 即可。
拟合出来的结果在论文 Table 6:
| 参数 | $A$ | $\alpha$ | $B$ | $\beta$ | $E$ | $\gamma$ |
|---|---|---|---|---|---|---|
| 值 | $1.52 \times 10^5$ | 0.589 | $5.25 \times 10^5$ | 0.544 | 1.35 | 0.274 |
之后在第二阶段,再把这些基础参数固定住,单独去拟合每种量化方法的 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$。
总结:
这是在已经跑完的实验数据点上,做一次曲线拟合(非线性回归),用的是 Huber loss + 数值优化器
随机舍入 (SR)、四舍五入 (RTN)、QuEST
这三个都是量化时如何把连续数值映射到离散低精度值的不同方案。
1. 四舍五入(RTN, Round-to-Nearest)
最常见、最直观的方法。
- 把一个数直接四舍五入到最近的量化格子点上。
- 优点:均方误差(MSE)通常最小。
- 缺点:是有偏的(biased)。比如很多数会系统性往某个方向舍入,长期积累会导致梯度估计有偏差。
在论文里,反向传播最终选择了 RTN(配合 AbsMax 缩放)。
2. 随机舍入(SR, Stochastic Rounding)
为了解决 RTN 的“有偏”问题而设计的。
- 不是固定四舍五入,而是按概率决定往上还是往下舍入。
- 假设一个数 $x$ 落在两个格子点 $q_1$ 和 $q_2$ 之间,距离 $q_1$ 更近,比例是 $p$,那么:
- 以概率 $p$ 舍入到 $q_1$
- 以概率 $1-p$ 舍入到 $q_2$
- 优点:期望上是无偏的(unbiased),理论上更有利于优化收敛。
- 缺点:引入了额外的随机噪声,MSE 通常比 RTN 大。
论文里前向用 SR 效果不好,反向虽然无偏,但综合表现还是不如 RTN。
3. QuEST
这是论文作者之前提出的一种更先进的前向量化方法(来自他们自己的工作)。
它的核心组合是:
- Hadamard 旋转:先把向量乘以 Hadamard 矩阵,打散异常值(outliers),让数值分布更均匀。
- RMSE 优化的缩放 + 裁剪:不再简单用 AbsMax,而是找到一个能让量化均方误差(RMSE)最小的缩放因子,并配合裁剪。
- 使用确定性的四舍五入(RTN)。
目标:尽可能降低前向的量化误差(MSE),从而提升参数效率 $\mathrm{eff}_N$。
在论文的对比中,QuEST 取得了最高的 $\mathrm{eff}_N$(0.64),明显优于普通的 RTN 和 SR。
总结对比
| 方法 | 核心思想 | 主要优点 | 主要缺点 | 论文中的用途 |
|---|---|---|---|---|
| RTN | 直接四舍五入到最近 | MSE 较小 | 有偏 | 反向传播 |
| SR | 按概率随机舍入 | 无偏 | MSE 较大,有噪声 | 对比基线 |
| QuEST | Hadamard + 最优RMSE缩放 + RTN | MSE 最小,前向效果最好 | 计算稍复杂 | 前向传播 |
Quartet 的最终选择是:前向用 QuEST,反向用 RTN。
无偏的(unbiased)是什么意思,投影幅度偏差(Projection Magnitude Misalignment)是什么
1. 无偏(Unbiased)是什么意思?
在量化和梯度估计的语境下,“无偏”指的是:
量化后的期望值等于原始值。
数学上写成:
- 如果满足这个条件,就说这个量化方法是无偏的。
- 如果不满足,就说它是有偏的(biased),偏差就是 $\mathbb{E}[\text{Quantize}(x)] - x$。
为什么重要?
在反向传播中,我们用的是量化后的梯度来更新参数。如果梯度估计是有偏的,那么每次更新都会系统性地带着一个错误方向,长期可能导致收敛变慢,甚至收敛到错误的地方。
这也是为什么理论上更倾向于使用无偏的量化方法(比如随机舍入 SR)。
2. 投影幅度偏差(Projection Magnitude Misalignment)是什么?
这是论文引入的一个新指标,用来衡量量化后梯度在“幅度”上的偏差程度。
背景
即使做了随机 Hadamard 旋转(让方向变得相对无偏),量化仍然可能改变向量的长度(幅度)。
论文参考了之前的工作,定义了一个理想的无偏修正因子 $S$:
如果量化是完全无偏的,那么 $S$ 的期望应该是 1。
投影幅度偏差的定义
论文用下面这个量来衡量偏差大小:
- 这个值越接近 0,说明幅度偏差越小(越接近无偏)。
- 这个值越大,说明量化后向量的长度被系统性改变得越严重。
直观理解
- 方向上的偏差:量化后梯度指的方向偏了多少(常用余弦相似度衡量)。
- 幅度上的偏差:量化后梯度的“力度/长度”被放大或缩小了多少。
投影幅度偏差专门刻画的是第二种——长度被改变的程度。
总结
| 概念 | 含义 | 理想情况 |
|---|---|---|
| 无偏(Unbiased) | 量化后的期望等于原值 | $\mathbb{E}[Q(x)] = x$ |
| 投影幅度偏差 | 量化后向量长度被系统性改变的程度 | 越接近 0 越好 |
论文用这个指标来解释:为什么随机舍入(SR)虽然无偏(偏差为 0),但综合训练效果反而不如有轻微幅度偏差的 RTN。




