信息的本质是不确定性的减少，而非数据的增加

大多数人把"信息"等同于"数据量"，但香农的洞见恰恰相反——高信息量意味着高不确定性被消除，而非数据更多。"意外"比"重复"更有信息量，"新闻"比"常识"更有价值。