机器应该害怕的不是被关掉，而是不被关掉

在标准模型下，一个理性的AI会抵制关机（因为关机妨碍目标实现）。罗素指出，解法不是给AI加上"允许关机"的规则（这会被绕过），而是从根本上改变AI的目标结构——让AI的效用函数内在地依赖于人类的判断。在这个新架构下，被关机不再是"目标失败"的信号，而是"人类在纠正我"的信号——这正是一个学习中的智能体应该欢迎的事情。