正则化的对偶本质

每一个正则化项 R(θ) 都等价于一个约束条件。正则化系数 λ 不是一个随意的「惩罚权重」，而是约束的影子价格——它告诉你「每放松一个单位的约束，目标函数能改善多少」。这将模糊的「调参」问题转化为有经济学含义的「边际价值」分析。