第6讲 联合熵与条件熵.pptxVIP

第 6 讲 联合熵与条件熵 信息熵 H(X)反映了随机变量X 的取值不确定性。当X 是常量时，其信息熵最小，等 于 0；当 X 有 n 个取值时，当且仅当这些取值的机会均等时，信息熵 H(X)最大，等于 logn 比特。我们拓展信息熵 H(X)的概念，考虑两个随机变量 X 和Y 的联合熵 H(XY)和条件熵 H(Y|X)。;注：为了简化记号，我们有时把 X1 X 2;2. 条件熵;4;5;注：上述条件熵概念可以推广到多个随机变量熵，例如 H(Y|X1X2 …XN) 是在已知随机向量 X1,X2,…XN 取值的前提下，随机变量 Y 的不确定性，亦即 Y 的每个取值 可以提供的与 X1,X2,…XN 取值无关的新信息量。 练习 3.2 设 p(xy)如下表所示。;作业 5 1. 范九伦等所著教材第 38 页习题（三） 设 X 和Y 的联合分布u(x, y) 由下表给出： .