超参数搜索的元优化悖论

机器学习的优化问题嵌套了一个元优化问题——你不仅要优化模型参数，还要优化「如何优化」（学习率、正则化系数、批量大小等超参数）。这构成了一个无限回归：优化方法的选择本身需要被优化。实践中，这个递归被截断在一层（超参数用网格搜索或贝叶斯优化解决），但理论上的不完整性意味着「最优优化器」的概念本身是不自洽的。