dropout

Dropout（随机失活） 是深度学习中一种非常经典且重要的正则化（Regularization）技术，简单用一句话概括：在训练神经网络时，Dropout 会按一定的概率（比如 0.1 或 0.5）随机“关掉”（丢弃）一部分神经元，让它们在这个批次的前向传播和反向传播中不工作。

dropout 现在也在使用么？

在小模型和微调中依然活跃：微调场景： 当你在小数据集上微调一个大模型时，过拟合风险很高，此时 Dropout 非常有效，几乎是必选项
大规模 LLM 预训练：标准 Dropout 基本“退场”，数据量太大了，模型在整个训练周期里往往只过一遍数据（单 epoch），根本来不及过拟合。此时加 Dropout 反而会减慢收敛速度，甚至损害下游性能。
变体依然重要：层 Dropout（Stochastic Depth）：
- 2026 年 ICML 的研究表明，通过优化策略（如前期多丢、后期少丢），层 Dropout 不仅能降低训练成本（节省约 20%-25% 的算力），还能让模型在推理时支持“早退”（Early Exit），实现高达 1.5 倍的加速。
- 另外，在注意力机制中，Attention Dropout 在 Llama 等模型的训练中仍有启用，主要用于提升泛化性。