可迁移模型 · TRANSFERABLE MODEL
微调是"对齐"而非"学习"
微调的本质不是让模型从零学习任务知识,而是将预训练已有的通用能力"对齐"到特定任务的输入输出格式上。这解释了为什么微调只需要几百条数据和几个epoch——因为"知识"已经在了,微调只是"调焦距"。这个洞察可迁移到组织学习:培训员工时,关键是帮他们"对齐"到新岗位的需求,而非从零灌输。
来自这本书的解读报告
《自然语言处理:基于预训练模型的方法》
这本书回答了NLP如何从任务驱动转向预训练驱动的问题,答案是用预训练-微调范式统一解决各类语言任务。
阅读完整解读报告 →