最大的AI风险不是"叛变"而是"忠实地执行错误目标"

AI安全的真正挑战不是防止AI"变坏"，而是确保AI"做对事"——而"对"的定义极其难以精确表达。一个完全忠诚但目标理解错误的AI，可能比一个"叛变"的AI更危险，因为它不会表现出任何异常行为直到灾难发生。