注意力 ≠ 理解：表示学习与推理能力的分离

注意力机制让模型可以"看到"序列中任意位置的信息，但"看到"不等于"理解"。模型可以通过注意力关联词汇模式来产出正确答案，而不需要真正理解背后的因果关系——这意味着基于注意力的模型在训练分布内表现强大，但在分布外（out-of-distribution）可能产生看似合理但完全错误的输出。这是大语言模型"幻觉"问题的深层根源之一。