信息论课件ch2-20121010.ppt (8.3 mb).pptVIP

* * 解： 举例 (1) 解： 举例 (2) 解： 举例 (3) (4) 本 章 小 结(1) 自信息的平均值为熵 条件自信息的平均值为条件熵 联合自信息的平均值为联合熵 互信息的平均值为平均互信息 条件互信息的平均值为平均条件互信息 本 章 小 结(2) 1 熵的可加性 2 平均互信息与熵的关系 3 离散熵与平均互信息都具有非负性 4 离散最大熵定理 5 平均互信息的凸函数性质 平均互信息为输入概率的上凸函数，为条件概率的下凸函数 谢谢! * * * * * * * * * 解： 2.信息散度 注：一般地， 与 并不相等，即不满足对称性 Page ? * 3.熵的基本性质(1) p=(p1,p2,…,pn)中，各分量的次序可以任意改变 自信息非负，熵为自信息的平均 熵非负 即：小概率事件对熵的影响很小，可以忽略 H(XY)= H(X) + H(Y|X ) H(X1X2…XN)= H(X1)+ H(X2|X1)+ … + H(XN|X1…XN-1) 对称性 非负性 扩展性 可加性 复合事件集合的不确定性为各个分事件集合的不确定性的和 熵的链原则举例 找 找 假 币 在 哪 里 ? 一次称重的信息量为log3 k次：klog3 3log3=log27log24 3.熵的基本性质(2) 极值性 定理2. 4 (离散最大熵定理) 对于离散随机变量集合，当集合中的事件等概率发生时，熵达到最大值 证明 设随机变量集合有n个符号，概率分布为P(x) ；Q(x)为等概率分布，即 Q(x)=1/n。 根据散度不等式有 只适用于有限离散随机变量集合； 无限可数离散随机变量集合的最大熵是无限大。 3.熵的基本性质(3) ★ 确定性 H(1,0) = H(1,0,0)= … = H(1,0,…0) = 0。 当随机变量集合中任一事件概率为1时，熵为0 ★ 上凸性 H(p)=H(p1,p2,…,pn) 是 (p1,p2,…,pn) 的严格的上凸函数 4.各类熵的关系 ★ 条件熵不大于信息熵 定理 熵的不增原理 在信息处理过程中，条件越多，熵越小。 4.各类熵的关系 ★ 联合熵不大于个信息熵的和 证 熵的可加性 ★ 联合熵与信息熵、条件熵的关系 H(XY)= H(X) + H(Y/X ) 5.熵函数的唯一性 如果要求熵函数满足以下条件： ★ 是概率的连续函数 ★ 信源符号等概率时是n（信源符号数）的增函数 ★ 可加性 那么，熵函数的表示是唯一的。 Page ? * §2.3 平均互信息 ★ 平均互信息的定义 ★ 平均互信息的性质 ★ 平均条件互信息 定 义 1.集合与事件之间的互信息 ★ 集合Y与事件x∈X之间的 互信息： 由事件x提供的关于集合Y的信息量（用条件概率平均） 定 理 证 : 根据散度的定义，有 仅当对所有x，p(y)= p(y/x ) 时，等式成立。 证毕。 I(x；Y)≧0 仅当x与所有y 独立时，等式成立。 1.集合与事件之间的互信息 定 义 2.平均互信息 ★ 集合X、Y之间的平均互信息： 1 2 3 3.平均互信息与熵的关系 I(X;Y)= H(X)- H(X|Y) I(X;Y)= H(Y)- H(Y|X) I(X;Y)=H(X)+ H(Y)- H(XY) Page ? * 例2.13 举例 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两种状态。调查结果得到的各数据联合出现的相对频率如下表所示。 忙 闲 晴 雨 晴 雨 冷 暖 冷 暖 冷 暖 冷 暖 12 8 27 16 8 13 4 12 Page ? * 例2.13 举例 （1）忙闲的无条件熵； （2）天气状态和气温状态同时已知时忙闲的条件熵； （3）从天气状态和气温状态同时获得的关于忙闲的信息。 若把这些频度视为概率测度，求： 解： 令X={忙，闲}={0，1} Y={晴，雨}={0，1} Z={冷，暖}={0，1} 则有如下表所示的数据。 P(xyz) Y Z 00 01 10 11 X 0 0.12 0.08 0.27 0.16 1 0.08 0.13 0.04 0.12 (00)=0.2 (01)=0.21 (10)=0.31 (11)=0.28 举例 §2.3.2 平均互信息的性质 性质 凸函数性 非负性 定理 ： I(X;Y)≥0 仅当X，Y 独立时，等式成立 证明思路： 互易性(对称性) 证 凸函数性 定理2.8 I(X;Y)