
MSE、MAE、Huber Loss
MSE、MAE、Huber Loss
下面详细对比 MSE、MAE、Huber Loss 的特性,并解释为什么它们会表现出这些特性。
1. 数学定义
设误差
| 损失函数 | 公式 | 对误差的惩罚方式 |
|---|---|---|
| MSE (均方误差) | $L = \dfrac{1}{2} e^2$ | 二次惩罚 |
| MAE (平均绝对误差) | $L = \lvert e\rvert$ | 一次惩罚 |
| Huber | $\begin{cases} \frac{1}{2}e^2 & \lvert e\rvert \le \delta \cr \delta(\lvert e\rvert - \frac{1}{2}\delta) & \lvert e\rvert > \delta \end{cases}$ | 小误差二次,大误差一次 |
($\delta$ 是阈值,论文里用 $10^{-4}$)
2. 核心特性对比
| 特性 | MSE | MAE | Huber |
|---|---|---|---|
| 小误差时的行为 | 很敏感(二次) | 不敏感(线性) | 像 MSE(二次) |
| 大误差时的行为 | 非常敏感(二次爆炸) | 稳定(线性) | 像 MAE(线性) |
| 对异常值(Outlier)的鲁棒性 | 差(容易被拉偏) | 好 | 好(接近 MAE) |
| 梯度性质 | 梯度 = $e$(随误差增大而增大) | 梯度 = $\text{sign}(e)$(恒为 ±1) | 小误差时梯度 = $e$,大误差时梯度 = $\pm\delta$ |
| 是否处处可导 | 是 | 在 0 点不可导 | 是(光滑) |
| 优化难度 | 容易(光滑且梯度信息丰富) | 稍难(0 点不可导,梯度恒定) | 容易(结合了两者优点) |
| 收敛速度(误差较小时) | 快 | 慢 | 快 |
3. 为什么会有这些特性?(从梯度角度理解)
损失函数的特性本质上由它的梯度(导数)决定,因为优化器是根据梯度来更新参数的。
MSE
- 梯度 = $e$
- 误差越大,梯度越大 → 参数更新步长越大
- 优点:误差大的时候会“用力”去纠正,收敛快
- 缺点:如果存在异常值(误差特别大),梯度会变得非常大,把模型参数狠狠拉向这个异常点,导致整体拟合被破坏
MAE
- 梯度 = $\text{sign}(e)$(即 +1 或 -1)
- 不管误差是 0.1 还是 100,梯度大小都是 1
- 优点:异常值的影响力被限制住了,更鲁棒
- 缺点:
- 误差已经很小的时候,梯度还是 ±1,不会自动变小,容易在最优解附近震荡
- 在 $e=0$ 处不可导,优化器处理起来稍麻烦
Huber Loss
- 设计目标:小误差时用 MSE 的优点,大误差时用 MAE 的优点
- 当 $\lvert e\rvert \le \delta$ 时,梯度 = $e$(和 MSE 一样)
- 当 $\lvert e\rvert > \delta$ 时,梯度被截断为 $\pm \delta$(和 MAE 类似,但有上限)
- 结果:
- 正常点(误差小)→ 用二次惩罚,收敛快、精度高
- 异常点(误差大)→ 梯度不再无限增大,不会主导整个优化过程
- 同时全程可导,优化友好
4. 直观比喻
- MSE:像一个“较真”的人,误差稍微大一点就发脾气(惩罚急剧上升),遇到极端情况容易情绪失控。
- MAE:像一个“佛系”的人,误差多大惩罚都差不多,很稳,但细节上不够精细。
- Huber:像一个“有分寸”的人,小事情认真对待,大事情保持冷静,既精细又不容易被极端值带偏。
5. 什么时候用哪个?
- 数据干净、几乎没有异常值 → MSE 通常最好(收敛快、精度高)
- 数据有明显噪声或异常值 → MAE 或 Huber
- 想要两者优点结合,且希望优化过程更稳定 → Huber(很多现代回归和鲁棒优化都会优先考虑它)
本文是原创文章,采用CC BY-NC-SA 4.0协议,完整转载请注明来自DaoXuan
评论 ()




