优化器选择是一个权衡，而非追求最优解

没有“万能”的优化器。SGD可能泛化好但收敛慢，Adam收敛快但可能泛化略差。选择优化器本质是在**收敛速度、最终性能、调参复杂度、计算成本**之间做权衡。理解这个权衡，比记住某个算法的公式更重要。