认知颠覆 · COGNITIVE OVERTURN

规模带来涌现:量变引起质变不是比喻而是定律

GPT-3 论文揭示了一个惊人的现象:当模型参数从 10 亿扩大到 1750 亿时,不仅性能线性提升,还「涌现」出训练目标中没有明确要求的能力(如少样本学习、代码生成)。这挑战了「能力来自明确训练」的传统假设——足够的规模 + 足够的数据 + 足够简单的训练目标,可以自发产生复杂能力。这对教育、管理都有启示:有时候不需要精确设计每个能力,只需要提供足够的资源和简单的规则,复杂行为会自发涌现。
来源

预训练-微调范式 / GPT-2/3 相关讨论

可迁移到

组织管理中,与其精细设计每个岗位的能力要求,不如创造开放的知识共享环境,让协作能力自发涌现;在教育中,与其机械灌输,不如提供丰富的阅读材料和讨论机会。

来自这本书的解读报告

《自然语言处理与深度学习》

Christopher Manning 等(斯坦福 CS224N 课程体系) · 自然语言处理 / 深度学习

这本书回答了机器如何理解人类语言的问题,答案是从符号表示走向分布式表示,用深度网络从海量文本中自监督学习语言结构

NLP·深度学习·词向量·注意力机制·Transformer
阅读完整解读报告 →
PRESS YOUR OWN BOOK

找一本想读的书,解读出你自己的洞察

90 秒得到核心模型 · 行动接口 · 失效边界 · 三套 SOP

解读一本书 →