对齐不是价值观的植入，而是行为模式的模仿

RLHF让模型学会了"什么样的回答人类觉得好"的模式，但这不等于模型"理解了什么是好的"。就像一个演员可以完美扮演一个善良的角色但本身并不善良——行为的相似性和本质的等同性是两回事。这是当前AI对齐研究最深层的困境。