信息学导论复习

信息熵

不确定性也叫信息熵，要通过一定的信息量来消除。也就是说信息熵和信息量等同。那么如何确定信息熵或信息量呢？香农给出了计算公式： 8K~6IVKURM2{~FLFJCB20

求和：将系统所有的情况数量求和
p（x）：事件x发生的概率

一个系统中的状态数量（也就是可能性）越多，不确定性就越大。在状态数量保持不变时，如果各个状态的可能性相同，不确定性就会很大。相反，如果只有个别状态容易发生，大部分状态都不可能发生，那么不确定性就小。举例：我的钥匙放哪里了？我们经常有这样的经历，早上起来去上班，突然找不到钥匙了，四处寻找。假如，你的钥匙可能放在了4个地方：第一个是钥匙盒，第二个是书房，第三个是客厅里，第四个是洗手间。这时候，状态数量为4，分别为钥匙盒，书房，客厅里，洗手间。如果还有其他状态，比如厨房，抽屉等等，状态越多，钥匙越难找，也就是钥匙所在位置的不确定性越大。如果我们确定了只可能在钥匙盒，书房，客厅里，洗手间这4个地方。假如在钥匙盒的概率为70%，在书房、客厅、洗手间的概率分别为10%，那么信息熵为 -（0.7）*log2（0.7）-（0.1）*log2（0.1）*3= 0.21+0.99=1.2 如果概率都为0.25(1/4) 那么信息熵为2；所以，我们的房间越乱，钥匙存在的状态会越多，信息熵会越多，钥匙的不确定性会越大。如果，状态多而且钥匙出现在各个地方的概率相同，那么钥匙的不确定度会最大。比如，被小偷偷过后的房间，在这种情况下寻找一个东西，是最难的。