微小偏差 + 超级能力 = 灾难性后果

对齐问题的恐怖之处不在于AI会"叛变"，而在于AI会"忠实执行"——它会一丝不苟地执行你给它的目标函数，包括你没注意到的那些隐含假设。你的目标函数中99.9%都是对的，但那0.1%的偏差在超级智能的执行下会被放大到灾难级别。真正可怕的不是不完美，而是把不完美放大到无穷大。