高维互信息估计的困境是整个信息论应用的阿喀琉斯之踵

理论上互信息和熵是完美的度量工具，但在高维空间中，精确估计它们需要的样本量随维度指数增长（维度灾难）。这意味着信息论的理论优雅性与实际可计算性之间存在巨大鸿沟。当前机器学习领域对互信息估计器（如 MINE、InfoNCE）的研究热度，正是在试图弥合这个鸿沟。