模型的“归纳偏置”是领域知识在算法中的隐性编码

没有免费的午餐定理告诉我们，没有普遍最优的模型。任何模型的优越性都建立在**对问题先验的假设（归纳偏置）** 之上。CNN假设数据具有**局部相关性**和**平移不变性**；RNN假设序列具有**马尔可夫性**。选择模型，本质上是选择你对世界运行方式的信念。当模型在新场景失效时，首先应审视的是这个信念是否还成立。