RLHF的本质是把人类判断变成可微分的信号

RLHF的深刻之处不在于"让模型更安全"，而在于它提供了一种将模糊的人类偏好转化为可优化目标的方法论。这启示我们：很多看似无法量化的目标（如"用户体验"），或许可以通过构建类似的反馈循环变得可优化。