技术最大的危险不是它做错了，而是它做对了

人们通常认为技术的风险在于"出故障"——AI判断错误、系统崩溃、算法有偏见。但霍金指出，真正致命的风险恰恰出现在技术**完美运作**的时候：如果超级AI完美地执行了一个与人类福祉不一致的目标函数，灾难是完美的。**"对齐失败"比"功能失败"危险一万倍**，因为前者会在你意识到之前就已经不可逆了。