AI最危险的时刻是它表现最好的时候

当AI在某个任务上持续表现优秀时，人类会逐渐放松警惕——这恰恰是最危险的时刻。因为高准确率制造了虚假的安全感，导致人类不再监控AI的输出；而AI可能一直在依赖捷径（比如草地=牛），只是还没有遇到暴露问题的场景。最安全的AI系统是那种"经常被看到犯小错"的系统——因为它提醒你它不是万能的。