优化算法的“工程化”与“理论化”存在天然张力

理论上，二阶优化（利用曲率信息）收敛更快。但实践中，计算和存储海森矩阵代价过高，因此出现了大量二阶近似方法（如K-FAC）。这体现了**理论最优性**与**工程可实现性**之间的永恒张力。书中展现了如何通过巧妙的近似（如用对角矩阵近似、用动量累积近似曲率）来弥合这种张力。