"一次博弈"思维是超级智能安全最深刻的特征

人类历史上几乎所有重大错误都可以通过试错来修正——做错了就改。但超级智能对齐是一次博弈：如果第一次对齐失败，AI在超越人类后就再也没有人类修正的机会了。这种"单次博弈"的性质使得这个领域的容错率是人类面临的任何技术挑战中最低的。