正则化的本质是给自由度定价

正则化不是"惩罚"模型，而是给每个自由度（参数）标上一个价格。价格越高，模型越不愿意使用这个自由度——除非这个自由度带来的收益（训练误差的减少）超过其价格。这提供了一种通用的资源分配思维：任何自由度都有隐含成本，不受约束的自由度使用会导致过度拟合（过拟合到偶然模式）。