信息实际熵的基础.pptVIP

熵、联合熵、条件熵;有两个含义： ;回顾（1）;信息熵具有以下两种物理含义： 1、表示信源输出前信源的平均不确定性 2、表示信源输出后，每个符号所携带的平均信息量;说明;平均不确定度H(X)的定义公式与热力学 中熵的表示形式相同，所以又把H(X)称为 信源X的熵。熵是在平均意义上来表征信源的 总体特性的，可以表征信源的平均不确定度。 ;信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H(X) , X是指随机变量的整体（包括概率分布）。;作业相关;习题相关;解： (1)因为离散信源是无记忆的，所以其发出的消息序列中各符号是统计独立的。因此，此消息的自信息就等于消息中各个符号的自信息之和!根据题意，可得;(2)此消息中共含45个信源符号，这45个信源符号携带着87．81比特信息量，则此消息中平均每个符号携带的信息量为 ;新授课;新授课;信源发出序列中只有前后两个符号间有依赖关系： 信源的概率空间: 连续两个信源符号出现的联合概率分布为： ;已知符号 出现后，紧跟着 出现的条件概率为：;根据（信息）熵的定义，可得： （1）联合熵;(2)条件熵;例题;新授课; H（X，Y）＝H（X）＋H（Y／X） H（X，Y）＝H（Y）＋H（X／Y） ; 所以 ;证明: 由;所以; [例] 某一二维离散信源; 解：根据概率关系可计算得条件概率P（xj|xi）,计算 结果列表如下：; 得：; H(X)：表示信源中每个符号的平均信息量（信源熵）。 H(Y)：表示信宿中每个符号的平均信息量（信宿熵）。 H(X|Y)：表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。信道疑义度(损失熵，含糊度) H(Y|X)：表示在已知X的全部符号后，对于输出Y尚存的平均不确定性。信道散布度(噪声熵) H(XY)：表示整个信息传输系统的平均不确定性（联合熵）。; 熵之间的相互关系 H(X,Y) = H(X) + H(Y|X) H(X,Y) = H(Y) + H(X|Y) H(X) = H(X|Y) H(Y) = H(Y|X) H(X,Y) = H(X) + H(Y);新授课;新授课;1、对称性： H(P) 的取值与分量 p1, p2 , ··· , pq的顺序无关。 说明： 从数学角度： H(P)=? pi · log pi 中的和式满足交换率； 从随机变量的角度：熵只与随机变量的总体统计特性有关。 ;一个例子：;2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 性质说明：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。 ;3、非负性： H(P) ? 0 说明： 随机变量X的概率分布满足0＜pi＜1，当取对数的底大于1时，log(pi) ＜0，-pilog(pi ) ＞0，即得到的熵为正值。只有当随机变量是一确知量时熵才等于零。 这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。 ;4、扩展性; 5、可加性 统计独立信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。 H(X,Y) = H(X)+ H(Y) ;证明：;例如，甲信源为;6、强可加性 两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。 H（X,Y）=H（X）+ H（Y|X）; 7、递增性;棚吱淫酝帆缀四据抓沫袖色盛宪俊辞铱裕鲜呼抓莎疚鸵芜酋敦喉佛榴逗巢信息理论熵的基础信息理论熵的基础;因为;[例]：运用熵函数的递增性（的推广），计算熵函数H(1/3，1/3，1/6，1/6)的数值。;熵函数H(P)是概率矢量P＝(p1，p2， …，pq)的严格∩型凸函数(或称上凸函数)。 它表示：对任意概率矢量P1＝ (p1,p2, …,pq )和P2＝ (p’1,p’2, …,p’q)，和任意的 0＜?＜1，有： H[? P1十(1- ? )P2 ] ＞ ? H(P1 )十(1-? )H(P2 ) 因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。;9、极值性 在离散信源情况下，信源各符号等概率分布时，熵值达到最大。;证明： 因为对数是∩型凸函数，满足詹森不等式E[log Y] ? log E[Y]，则有：;即