学习率是最被低估的超参数

在所有超参数中，学习率对训练结果的影响最大，但也是最容易被「拍脑袋」决定的。过大的学习率导致震荡，过小的学习率导致卡在次优解。好的实践是：先用大范围搜索找到大致范围，再用精细搜索确定最优值。