第一章随机变量的信息度量总汇.ppt

* * * 4) 任何两个事件之间的互信息小于等于其 中任一事件的自信息 互信息（量）的性质 * * 例 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？ 解 x =某女孩是大学生；y =某女孩身高1米6以上.则有 “身高1米6以上的某女孩是女大学生”为事件 * * 例 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为 求互信息量 和 . 解 * * * * 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发,在平均意义上度量每通过一个符号流经信道的平均信息量. 为了客观地测度信道中流通的信息，定义互信息量在联合概率空间中的统计平均值为Y 对X 的平均互信息量，简称平均互信息，也称为平均交互信息量或交互熵. 平均互信息（量） * * 平均互信息（量） * * 平均互信息（量） * * * * I(X;Y)≤H(X) , I(X;Y)≤H(Y) H(X|Y)≤H(X) , I(X;Y)≤H(X)+H(Y) H(X) H(Y) I(X;Y) H(Y|X) H(X|Y) * * 对称性：I(X;Y)=I(Y;X) 非负性： 平均互信息量的非负性告诉我们：从整体和平均的意义上来说，信道每通过一条消息，总能传递一定的信息量，或者说接收端每收到一条消息，总能提取到信源 X 的信息量，等效于总能使信源的不确定度有所下降。 也可以说从一个事件提取关于另一个事件的消息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加. 平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，在平均意义上观察问题，所以平均互信息不会出现负值. 平均互信息的性质 * * 3. 极值性： I(X;Y) ? min{H(X), H(Y)} 平均互信息量的极值性说明从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵，不会超过另一个事件自身所含的信息量. 平均互信息的性质 * * 4. 平均互信息和各类熵的关系 I(X;Y)=H(X) ? H(X|Y) =H(Y)?H(Y|X) =H(X)+H(Y)?H(X,Y) 互信息是一个随机变量由于已知另一个随机变量而减少的不肯定性. 5. I(X;Y)是信源概率分布p(xi )的上凸函数和信道传递概率 p(yj|xi ) 的下凸函数. 平均互信息的性质 * * 定义 平均条件互信息 定义 平均联合互信息 可以证明 同理 * * * * * * 定理（数据处理定理） 如果随机变量 X, Z, Y，构成一个马尔可夫链，则 等号成立的条件分别是对于任意的 x，y，z 数据处理定理 * * 数据处理定理表明: 数据经过兼并处理后将会丢失一些信息。这是因为任何无源的信息处理过程都会带来信息的损失，绝对不会使信息增加，至多保持原来的信息。 若数据处理得细致些，将会使信息损失少些，但要付出代价，如增加设备的复杂性，计算量或处理时间加大等. 数据处理定理 * * 数据处理定理的证明 * * 数据处理不等式 * * * * 费诺不等式 * * 广义熵 * * 广义熵 * * 广义熵 * * 广义熵 * * 广义熵 * * 广义熵 * * 例 一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率 p(x0)=2/3, p(x1)= 1/3, 符号转移概率 p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 信源熵 * * 得联合概率： p(x0，y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0，y1) = p(x0) p(y1 |x0) = 0 p(x0，y2)