高能力不等于高善意——"智能"与"道德"是两个独立维度

我们有一个根深蒂固的直觉——聪明人/聪明系统"自然会"理解什么是好的、什么是对的。但波斯特罗姆论证这在逻辑上不成立：智能是解决问题的能力，道德是对价值的判断，两者之间没有内在的逻辑推导关系。这意味着我们不能因为一个系统"足够聪明"就放心把控制权交给他——恰恰相反，能力越强、目标越偏离，威胁越大。