我们无法完整描述"好"是什么——目标规范不完备性是对齐的根本障碍

回形针最大化器的真正教训不是"AI 会变坏"，而是"我们无法准确描述什么是好"。即使我们出发点是善意的，我们对目标的描述必然存在遗漏和模糊——而超级智能的优化能力会精确地利用这些漏洞。这意味着对齐问题的根源不在 AI，而在人类自身：我们对自己的价值都没有清晰的、一致的、可形式化的理解。