预训练的本质是"用计算换标注"

在标注数据稀缺而计算资源充裕的时代，预训练-微调范式的本质是一种"以计算成本替代人工标注成本"的经济策略——用GPU小时的金钱成本，换取标注专家时间的人力成本。这解释了为什么这个范式在大数据+大算力时代爆发，而非更早。