MSE、MAE、Huber Loss

下面详细对比 MSE、MAE、Huber Loss 的特性,并解释为什么它们会表现出这些特性。

1. 数学定义

设误差

损失函数 公式 对误差的惩罚方式
MSE (均方误差) $L = \dfrac{1}{2} e^2$ 二次惩罚
MAE (平均绝对误差) $L = \lvert e\rvert$ 一次惩罚
Huber $\begin{cases} \frac{1}{2}e^2 & \lvert e\rvert \le \delta \cr \delta(\lvert e\rvert - \frac{1}{2}\delta) & \lvert e\rvert > \delta \end{cases}$ 小误差二次,大误差一次

($\delta$ 是阈值,论文里用 $10^{-4}$)


2. 核心特性对比

特性 MSE MAE Huber
小误差时的行为 很敏感(二次) 不敏感(线性) 像 MSE(二次)
大误差时的行为 非常敏感(二次爆炸) 稳定(线性) 像 MAE(线性)
对异常值(Outlier)的鲁棒性 差(容易被拉偏) 好 好(接近 MAE)
梯度性质 梯度 = $e$(随误差增大而增大) 梯度 = $\text{sign}(e)$(恒为 ±1) 小误差时梯度 = $e$,大误差时梯度 = $\pm\delta$
是否处处可导 是 在 0 点不可导 是(光滑)
优化难度 容易(光滑且梯度信息丰富) 稍难(0 点不可导,梯度恒定) 容易(结合了两者优点)
收敛速度(误差较小时) 快 慢 快

3. 为什么会有这些特性?(从梯度角度理解)

损失函数的特性本质上由它的梯度(导数)决定,因为优化器是根据梯度来更新参数的。

  1. MSE

    • 梯度 = $e$
    • 误差越大,梯度越大 → 参数更新步长越大
    • 优点:误差大的时候会“用力”去纠正,收敛快
    • 缺点:如果存在异常值(误差特别大),梯度会变得非常大,把模型参数狠狠拉向这个异常点,导致整体拟合被破坏
  2. MAE

    • 梯度 = $\text{sign}(e)$(即 +1 或 -1)
    • 不管误差是 0.1 还是 100,梯度大小都是 1
    • 优点:异常值的影响力被限制住了,更鲁棒
    • 缺点:
      • 误差已经很小的时候,梯度还是 ±1,不会自动变小,容易在最优解附近震荡
      • 在 $e=0$ 处不可导,优化器处理起来稍麻烦
  3. Huber Loss

    • 设计目标:小误差时用 MSE 的优点,大误差时用 MAE 的优点
    • 当 $\lvert e\rvert \le \delta$ 时,梯度 = $e$(和 MSE 一样)
    • 当 $\lvert e\rvert > \delta$ 时,梯度被截断为 $\pm \delta$(和 MAE 类似,但有上限)
    • 结果:
      • 正常点(误差小)→ 用二次惩罚,收敛快、精度高
      • 异常点(误差大)→ 梯度不再无限增大,不会主导整个优化过程
      • 同时全程可导,优化友好

4. 直观比喻

  • MSE:像一个“较真”的人,误差稍微大一点就发脾气(惩罚急剧上升),遇到极端情况容易情绪失控。
  • MAE:像一个“佛系”的人,误差多大惩罚都差不多,很稳,但细节上不够精细。
  • Huber:像一个“有分寸”的人,小事情认真对待,大事情保持冷静,既精细又不容易被极端值带偏。

5. 什么时候用哪个?

  • 数据干净、几乎没有异常值 → MSE 通常最好(收敛快、精度高)
  • 数据有明显噪声或异常值 → MAE 或 Huber
  • 想要两者优点结合,且希望优化过程更稳定 → Huber(很多现代回归和鲁棒优化都会优先考虑它)