北邮信息论-第2章离散信息的度量教程分析.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * ★ 定理： 对于固定的概率分布p(x)，I(X;Y)为条件概率p(x|y)的下凸函数。 证明思路： 续 例 解： 这是一个下凸函数 I(X；Y)≦H(X) I(X；Y)≦H(Y) ★ 极值性： 平均条件互信息 ★ 设联合集XYZ，Z条件下，X与Y之间的平均互信息： ★ 定理：平均条件互信息是非负的： 证明： ★ 定理： 设Y、Z为独立随机变量集合，其中Y含n个事件,Z含k个事件，则联合集YZ含nk个事件。Z集合可看成YZ集合中某些事件的合并处理，由nk个事件合并成k个事件。 1）随机事件合并后，获得的信息量减少； 2）如果YZ为二维取值空间，则Z的取值空间是对YZ取值空间的合并，而YZ取值空间是对Z或Y取值空间的细化。可见，通过对取值空间的细化，可使获得的信息量增加。 本 章 小 结 ★ 自信息的平均值为熵 ★ 条件自信息的平均值为条件熵 ★ 联合自信息的平均值为联合熵 ★ 互信息的平均值为平均互信息 ★ 条件互信息的平均值为平均条件互信息 本 章 小 结 ★ 熵的可加性 ★ 平均互信息与熵的关系 ★ 离散熵与平均互信息都具有非负性