熵是不确定度的"货币单位"——它统一了压缩和通信

我们直觉上把"压缩"和"传输"看作两回事，但信息论揭示它们由同一个量（熵/互信息）统一控制——熵既是压缩的下限，也是通信的效率指标。这意味着"信息量"是一个独立于具体应用的客观数学量，就像"质量"在物理学中统一了力学和引力。