信息学导论复习

信息熵

不确定性也叫信息熵,要通过一定的信息量来消除。也就是说信息熵和信息量等同。那么如何确定信息熵或信息量呢?香农给出了计算公式: 8K~6IVKURM2{~FLFJCB20

  • 求和:将系统所有的情况数量求和
  • p(x):事件x发生的概率

一个系统中的状态数量(也就是可能性)越多,不确定性就越大。在状态数量保持不变时,如果各个状态的可能性相同,不确定性就会很大。相反,如果只有个别状态容易发生,大部分状态都不可能发生,那么不确定性就小。 举例:我的钥匙放哪里了? 我们经常有这样的经历,早上起来去上班,突然找不到钥匙了,四处寻找。 假如,你的钥匙可能放在了4个地方:第一个是钥匙盒,第二个是书房,第三个是客厅里,第四个是洗手间。 这时候,状态数量为4,分别为钥匙盒,书房,客厅里,洗手间。 如果还有其他状态,比如厨房,抽屉等等,状态越多,钥匙越难找,也就是钥匙所在位置的不确定性越大。 如果我们确定了只可能在钥匙盒,书房,客厅里,洗手间这4个地方。假如在钥匙盒的概率为70%,在书房、客厅、洗手间的概率分别为10%,那么信息熵为 -(0.7)*log2(0.7)-(0.1)*log2(0.1)*3= 0.21+0.99=1.2 如果概率都为0.25(1/4) 那么信息熵为2; 所以,我们的房间越乱,钥匙存在的状态会越多,信息熵会越多,钥匙的不确定性会越大。 如果,状态多而且钥匙出现在各个地方的概率相同,那么钥匙的不确定度会最大。比如,被小偷偷过后的房间,在这种情况下寻找一个东西,是最难的。


  • 特别的:若系统中事件都是等可能的,则可以使用特殊公式 CodeCogsEqn

  • 参考链接 1 2


What is broken can be reforged.