平均信息量.pptVIP

2.1.4 平均互信息量 如果将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信道的特性。 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它是一个随机变量，不能从整体上作为信道中信息流通的测度。 (1) 平均互信息量的定义 (2) 平均互信息量的物理含义 (3) 平均互信息量的性质 (1) 平均互信息量的定义 平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平均交互信息量/交互熵）。 X对Y的平均互信息定义为 平均互信息的第三种定义 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。 (2) 平均互信息量的物理含义 ① 观察者站在输出端 ② 观察者站在输入端 ③ 观察者站在通信系统总体立场上 ① 观察者站在输出端 H(X/Y) —信道疑义度/损失熵。 Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。 H(X) —X的先验不确定度/无条件熵。 I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。 ② 观察者站在输入端 H(Y/X)—噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的