认知颠覆 · COGNITIVE OVERTURN
注意力的本质是信息路由,不是"关注"
很多人把 Attention 直译为"注意力"并按心理学直觉理解,但实际上它是一种信息路由机制——决定信息如何从输入端流向输出端。这个区别至关重要:心理学注意力是"有意识地选择",而 Transformer 的注意力是"无意识的加权求和"。理解这一点才能准确预测模型的能力边界——它能高效地做信息聚合,但不能做有意识的推理。
来自这本书的解读报告
《深度学习与自然语言处理》
这本书回答了如何让机器真正理解语言的问题,答案是通过多层次表示学习实现从统计模式到语义理解的跃迁
阅读完整解读报告 →