互信息的对称性既是优点也是限制

互信息 I(X;Y) = I(Y;X) 是对称的，这在度量"两个变量共享多少信息"时是合理的。但当我们想知道"信息从 X 流向 Y，还是从 Y 流向 X"时，对称性就成了限制——必须引入有向互信息或时间结构才能区分方向。这提醒我们：度量工具的选择隐含了问题的假设，对称度量隐含了"关系是对称的"这一假设。