奖励函数设计是AI对齐的缩影

强化学习中最难的不是算法选择，而是奖励函数设计——你定义的"好"会决定智能体的行为，但智能体会找到获得高奖励但不符合你意图的方式（奖励黑客）。这其实是所有"AI对齐"问题的缩影：如何用可量化的指标去逼近不可量化的目标？本书的实践暗示了一个原则：好的奖励函数应该是简单的、可验证的、在多个场景中robust的，而不是复杂的、精确拟合单一指标的。