深度 RL 的"不稳定性"不是缺陷而是特性——它揭示了学习本身的本质困难

深度 RL 训练中常见的崩溃、振荡、模式坍缩，表面上是工程问题，本质上揭示了一个深层矛盾：神经网络的全局优化（泛化到所有数据）与 RL 的局部优化（在当前策略产生的数据上表现好）之间的张力。经验回放和目标网络的"缓兵之计"有效但不是根本解决——这预示着深度 RL 需要全新的理论框架而非更多的工程技巧。