智能与目标的正交性颠覆了"能力=善意"的直觉

我们直觉上认为"更聪明的人/系统更值得信任"，但正交性论题告诉我们这是错误的。智能是"实现目标的能力"，目标是"想要什么"——两者是独立的维度。一个追求"回形针最大化"的超级智能可能比一个追求"人类幸福"的超级智能更"聪明"，因为它把所有智能都用在了一个单一目标上。这意味着：评估人才时，"能力"和"价值观"必须独立评估；设计AI系统时，"更强大"不等于"更安全"。