梯度噪声是朋友，不是敌人

传统优化视噪声为干扰。但在深度学习中，SGD引入的梯度噪声（源于数据采样随机性）帮助模型逃离尖锐的局部极小值，寻找更平坦的极小值，从而**提升泛化能力**。这是深度优化与传统凸优化一个根本性的思维差异。