第一章随机变量的信息度量简析.ppt

* * * 4) 任何两个事件之间的互信息小于等于其 中任一事件的自信息 互信息（量）的性质 * * 例 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？ 解 x =某女孩是大学生；y =某女孩身高1米6以上.则有 “身高1米6以上的某女孩是女大学生”为事件 * * 例 已知信源发出 和 两种消息，且 。此消息在二进制对称信道上传输，信道传输特性为 求互信息量 和 . 解 * * * * 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发,在平均意义上度量每通过一个符号流经信道的平均信息量. 为了客观地测度信道中流通的信息，定义互信息量在联合概率空间中的统计平均值为Y 对X 的平均互信息量，简称平均互信息，也称为平均交互信息量或交互熵. 平均互信息（量） * * 平均互信息（量） * * 平均互信息（量） * * * * I(X;Y)≤H(X) , I(X;Y)≤H(Y) H(X|Y)≤H(X) , I(X;Y)≤H(X)+H(Y