信息论基础 普通高等教育十一五 国家级规划教材 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter2.pptVIP

证 利用数学归纳法。根据上凸函数的定义有 f[αx1+(1-α)x2]≥αf(x1)+(1-α)f(x2) 其中0α1 ，即q=2 时成立。 今假定 q=n 成立。现考虑 q=n+1 的情况 设 , 令 , 则 , 续 例 解： 这是一个下凸函数 I(X；Y)≦H(X) I(X；Y)≦H(Y) ★ 极值性： 平均条件互信息 ★ 设联合集XYZ，Z条件下，X与Y之间的平均互信息： ★ 定理：平均条件互信息是非负的： 证明： ★ 定理： 设Y、Z为独立随机变量集合，其中Y含n个事件,Z含k个事件，则联合集YZ含nk个事件。Z集合可看成YZ集合中某些事件的合并处理，由nk个事件合并成k个事件。 1）随机事件合并后，获得的信息量减少； 2）如果YZ为二维取值空间，则Z的取值空间是对YZ取值空间的合并，而YZ取值空间是对Z或Y取值空间的细化。可见，通过对取值空间的细化，可使获得的信息量增加。 本 章 小 结 ★ 自信息的平均值为熵 ★ 条件自信息的平均值为条件熵 ★ 联合自信息的平均值为联合熵 ★ 互信息的平均值为平均互信息 ★ 条件互信息的平均值为平均条件互信息 本 章 小 结 ★ 熵