机器的智能上限不取决于算法，而取决于我们如何定义"好"

理性代理框架最深刻的推论是：代理的行为完全由性能度量决定。这意味着，一个"超级聪明"的AI如果度量定义错误，会超级高效地做错误的事——而且做得比任何人都好。AI安全问题的本质不是"AI太聪明了我们控制不住"，而是"我们不知道自己真正想要什么"。