预训练的本质是学习一个可迁移的归纳偏置

预训练不只是"用大数据训练一个好模型"。它的真正机制是：预训练过程将数据分布中的结构信息编码进了网络权重，这些编码构成了一种"归纳偏置"——它告诉模型"这类数据的规律大概长这样"。当你在小数据上微调时，这个偏置极大地缩小了搜索空间，等价于用大数据"买"了一份对目标问题的先验知识。