预训练的本质是把"数据"转化为"知识"

预训练模型的核心创新不是网络架构（Transformer早在2017年就提出了），而是将海量无标注文本中的统计规律转化为可迁移的参数化知识。这意味着"数据量"不再只是统计学意义上的样本量，而是变成了模型的"知识库存"。这从根本上改变了NLP的生产关系：数据不再只服务于特定任务，而成为可复用的公共基础设施。