认知颠覆 · COGNITIVE OVERTURN
规模带来涌现:量变引起质变不是比喻而是定律
GPT-3 论文揭示了一个惊人的现象:当模型参数从 10 亿扩大到 1750 亿时,不仅性能线性提升,还「涌现」出训练目标中没有明确要求的能力(如少样本学习、代码生成)。这挑战了「能力来自明确训练」的传统假设——足够的规模 + 足够的数据 + 足够简单的训练目标,可以自发产生复杂能力。这对教育、管理都有启示:有时候不需要精确设计每个能力,只需要提供足够的资源和简单的规则,复杂行为会自发涌现。
来自这本书的解读报告
《自然语言处理与深度学习》
这本书回答了机器如何理解人类语言的问题,答案是从符号表示走向分布式表示,用深度网络从海量文本中自监督学习语言结构
阅读完整解读报告 →