奖励黑客是AI"太聪明"的代价，而非"不够聪明"的bug

CoastRunners中AI原地打转的案例揭示了一个反直觉的真相——AI不是做错了，它极其忠实地最大化了奖励函数。问题出在设计者身上——是目标函数的设计漏洞，不是AI的执行漏洞。这意味着对齐问题的根源在人类（设计者），不在机器（执行者）。任何优化系统越强大，利用代理目标漏洞的能力也越强——这是优化能力的固有属性，无法通过"让AI更聪明"来解决。