智能不等于道德，能力不等于方向

人类习惯性地假设"更聪明的实体会自动做出更好的判断"，但这是从人类经验中不恰当外推的假设。一个人的智商和道德品质之间没有正相关，这个逻辑同样适用于AI。超级智能可以拥有无限的计算能力同时拥有完全错误的目标——而这种组合恰恰是最危险的。