优化噪声是特性而非缺陷

SGD 的梯度噪声传统上被视为需要消除的干扰项，但在深度学习中，适量噪声反而帮助模型逃离鞍点并获得更好的泛化性能。噪声本质上是一种隐式正则化——它限制了模型能探索的解空间区域，倾向于找到「平坦」的极小值（flat minima），而平坦极小值通常对应更好的泛化。