通过“诱导尺度定律”比较量化训练方法是什么意思?

普通缩放定律(Scaling Law)描述的是:

模型参数量 $N$ 越大、训练数据量 $D$ 越多,验证 loss 越低。

论文在这里做了一个扩展:把前向精度和反向精度也加进缩放定律里,变成:

其中两个新引入的关键参数是:

  • $\mathrm{eff}_N$(参数效率):前向量化把模型“有效参数量”打了多少折。$\mathrm{eff}_N = 1$ 表示没有损失(和全精度一样),越小表示前向量化损伤越大。

  • $\mathrm{eff}_D$(数据效率):反向量化让模型需要多少额外数据才能达到同样的 loss。$\mathrm{eff}_D = 1$ 表示没有损失,越小表示反向量化损伤越大(需要更多数据才能补回来),即

怎么用这个定律比较不同量化方法?

  1. 先用全精度(或 FP8)跑一组不同大小的模型、不同数据量的实验,拟合出基础参数 $A, B, \alpha, \beta, \gamma, E$。
  2. 再对每一种量化方法(比如不同的前向/反向量化方案)单独拟合它的 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$。
  3. 比较标准非常简单:
    如果方法 A 的 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$ 都比方法 B 高,就说 A 优于 B。
    (因为同样的计算预算和数据预算下,A 能达到更低的验证 loss。)

这就是论文说的“通过诱导尺度定律比较量化训练方法”——不再只看某一个固定模型大小上的 loss 高低,而是看量化方法在参数效率和数据效率这两个维度上的整体表现。

简单总结:

  • 评估损耗 = 验证集上的 loss(越低越好)。
  • 诱导尺度定律 = 把前向/反向精度的影响也写进缩放定律里,用 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$ 来量化不同方法的损伤程度,从而公平地比较它们。

不是用神经网络那种“前向 + 反向传播”来拟合的。

这里的拟合是曲线拟合 / 非线性回归,属于数值优化问题,不是训练语言模型。

具体怎么做的

论文在附录 A.3 写得很清楚:

  1. 准备数据点
    用全精度(BF16)跑一组不同规模的模型,记录它们在不同数据量下的验证 loss:

    • 模型大小 $N$:30M、50M、100M、200M
    • 数据量比例 $D/N$:25×、50×、100×、200×、400×、800×

    每个 $(N, D)$ 对应一个实测的验证 loss $L$。

  2. 要拟合的函数形式(无量化版本)

  3. 损失函数
    用 Huber loss($\delta = 10^{-4}$)去拟合 $\log L$,而不是直接拟合 $L$。
    这样做是为了让大 loss 和小 loss 的影响更均衡,也更符合缩放定律通常在对数尺度上比较的习惯。

  4. 优化方式
    这就是一个普通的非线性最小二乘 / 参数优化问题。
    用任何标准的数值优化器(比如 L-BFGS、Adam、或者专门的曲线拟合库)去最小化上面的 Huber loss,求出最优的 $A, \alpha, B, \beta, \gamma, E$ 即可。

拟合出来的结果在论文 Table 6:

参数 $A$ $\alpha$ $B$ $\beta$ $E$ $\gamma$
值 $1.52 \times 10^5$ 0.589 $5.25 \times 10^5$ 0.544 1.35 0.274

之后在第二阶段,再把这些基础参数固定住,单独去拟合每种量化方法的 $\mathrm{eff}_N$ 和 $\mathrm{eff}_D$。

总结:
这是在已经跑完的实验数据点上,做一次曲线拟合(非线性回归),用的是 Huber loss + 数值优化器

随机舍入 (SR)、四舍五入 (RTN)、QuEST

这三个都是量化时如何把连续数值映射到离散低精度值的不同方案。

1. 四舍五入(RTN, Round-to-Nearest)

最常见、最直观的方法。

  • 把一个数直接四舍五入到最近的量化格子点上。
  • 优点:均方误差(MSE)通常最小。
  • 缺点:是有偏的(biased)。比如很多数会系统性往某个方向舍入,长期积累会导致梯度估计有偏差。

在论文里,反向传播最终选择了 RTN(配合 AbsMax 缩放)。

2. 随机舍入(SR, Stochastic Rounding)

为了解决 RTN 的“有偏”问题而设计的。

  • 不是固定四舍五入,而是按概率决定往上还是往下舍入。
  • 假设一个数 $x$ 落在两个格子点 $q_1$ 和 $q_2$ 之间,距离 $q_1$ 更近,比例是 $p$,那么:
    • 以概率 $p$ 舍入到 $q_1$
    • 以概率 $1-p$ 舍入到 $q_2$
  • 优点:期望上是无偏的(unbiased),理论上更有利于优化收敛。
  • 缺点:引入了额外的随机噪声,MSE 通常比 RTN 大。

论文里前向用 SR 效果不好,反向虽然无偏,但综合表现还是不如 RTN。

3. QuEST

这是论文作者之前提出的一种更先进的前向量化方法(来自他们自己的工作)。

它的核心组合是:

  1. Hadamard 旋转:先把向量乘以 Hadamard 矩阵,打散异常值(outliers),让数值分布更均匀。
  2. RMSE 优化的缩放 + 裁剪:不再简单用 AbsMax,而是找到一个能让量化均方误差(RMSE)最小的缩放因子,并配合裁剪。
  3. 使用确定性的四舍五入(RTN)。

目标:尽可能降低前向的量化误差(MSE),从而提升参数效率 $\mathrm{eff}_N$。

在论文的对比中,QuEST 取得了最高的 $\mathrm{eff}_N$(0.64),明显优于普通的 RTN 和 SR。


总结对比

方法 核心思想 主要优点 主要缺点 论文中的用途
RTN 直接四舍五入到最近 MSE 较小 有偏 反向传播
SR 按概率随机舍入 无偏 MSE 较大,有噪声 对比基线
QuEST Hadamard + 最优RMSE缩放 + RTN MSE 最小,前向效果最好 计算稍复杂 前向传播

Quartet 的最终选择是:前向用 QuEST,反向用 RTN。

无偏的(unbiased)是什么意思,投影幅度偏差(Projection Magnitude Misalignment)是什么

1. 无偏(Unbiased)是什么意思?

在量化和梯度估计的语境下,“无偏”指的是:

量化后的期望值等于原始值。

数学上写成:

  • 如果满足这个条件,就说这个量化方法是无偏的。
  • 如果不满足,就说它是有偏的(biased),偏差就是 $\mathbb{E}[\text{Quantize}(x)] - x$。

为什么重要?

在反向传播中,我们用的是量化后的梯度来更新参数。如果梯度估计是有偏的,那么每次更新都会系统性地带着一个错误方向,长期可能导致收敛变慢,甚至收敛到错误的地方。
这也是为什么理论上更倾向于使用无偏的量化方法(比如随机舍入 SR)。


2. 投影幅度偏差(Projection Magnitude Misalignment)是什么?

这是论文引入的一个新指标,用来衡量量化后梯度在“幅度”上的偏差程度。

背景

即使做了随机 Hadamard 旋转(让方向变得相对无偏),量化仍然可能改变向量的长度(幅度)。

论文参考了之前的工作,定义了一个理想的无偏修正因子 $S$:

如果量化是完全无偏的,那么 $S$ 的期望应该是 1。

投影幅度偏差的定义

论文用下面这个量来衡量偏差大小:

  • 这个值越接近 0,说明幅度偏差越小(越接近无偏)。
  • 这个值越大,说明量化后向量的长度被系统性改变得越严重。

直观理解

  • 方向上的偏差:量化后梯度指的方向偏了多少(常用余弦相似度衡量)。
  • 幅度上的偏差:量化后梯度的“力度/长度”被放大或缩小了多少。

投影幅度偏差专门刻画的是第二种——长度被改变的程度。


总结

概念 含义 理想情况
无偏(Unbiased) 量化后的期望等于原值 $\mathbb{E}[Q(x)] = x$
投影幅度偏差 量化后向量长度被系统性改变的程度 越接近 0 越好

论文用这个指标来解释:为什么随机舍入(SR)虽然无偏(偏差为 0),但综合训练效果反而不如有轻微幅度偏差的 RTN。