金句级表达 · PITHY EXPRESSION
预训练的本质是"用无标注数据买知识,用标注数据买方向"
预训练-微调范式的经济学本质是解耦了两种成本:海量无标注数据的获取成本(低但规模大)和高质量标注数据的获取成本(高但规模小)。预训练用前者买到了"语言能力",微调用后者买到了"任务方向"。这种解耦让NLP从"每个任务都需要从零开始"进化为"站在巨人的肩膀上做微调"。
来自这本书的解读报告
《自然语言处理综论》
这本书回答了机器如何理解和生成人类语言,答案是从规则到统计再到深度学习的范式跃迁
阅读完整解读报告 →