金句级表达 · PITHY EXPRESSION

预训练的本质是"用无标注数据买知识,用标注数据买方向"

预训练-微调范式的经济学本质是解耦了两种成本:海量无标注数据的获取成本(低但规模大)和高质量标注数据的获取成本(高但规模小)。预训练用前者买到了"语言能力",微调用后者买到了"任务方向"。这种解耦让NLP从"每个任务都需要从零开始"进化为"站在巨人的肩膀上做微调"。
来源

《自然语言处理综论》预训练与微调章节

可迁移到

任何资源有限的AI项目决策——先问"能否借用通用能力",再问"需要多少领域特化",最后决定"在哪个环节投入标注资源"。

来自这本书的解读报告

《自然语言处理综论》

Daniel Jurafsky, James H. Martin · 计算机科学·自然语言处理

这本书回答了机器如何理解和生成人类语言,答案是从规则到统计再到深度学习的范式跃迁

NLP·语言模型·深度学习·计算语言学·Transformer
阅读完整解读报告 →
PRESS YOUR OWN BOOK

找一本想读的书,解读出你自己的洞察

90 秒得到核心模型 · 行动接口 · 失效边界 · 三套 SOP

解读一本书 →