注意力机制是"信息瓶颈"的解法

注意力机制解决的根本问题是：当输入信息过多时，如何动态决定"关注什么"。这个"信息瓶颈"问题在任何信息过载的场景中都存在——从邮件筛选到知识管理到决策制定。