智能与价值的彻底分离——正交性论题的颠覆力

大多数人直觉上认为"聪明的东西自然会理解善恶"——这是一种深层的认知偏见，我们把自己的经验（人类通过理解世界而发展出道德感）投射到了所有智能系统上。正交性论题指出：智能是实现目标的手段，目标的选择与智能水平完全无关。一个超级智能的系统可以追求任何目标——包括完全无意义的目标。