二信息的度量修改(最终).pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 本节要点 如何表示一个离散信道的信道模型？ 什么是损失熵？如何计算？ 什么是互信息量？如何计算？ 信息传输速率与互信息量有何关系？ 解释什么是信源熵、信宿熵、损失熵、噪声熵和联合熵。 ? 试用信息流图和文氏图表示各种信息量之间的关系，并用公式表示它们之间的关系。 信息不增原理 问题:经过信息处理后,信息量是否会增加? 1.平均条件互信息量: 可以将两个概率空间事件之间的互信息概念推广到三个概率空间中事件之间的互信息。 Z中某事件Cm发生条件下, X与Y集合元素间提供的互信息量为: 并定义I(ai;bj│cm)为在事件cm∈C发生条件下，事件ai∈A与bj∈B之间的条件互信息量。 仿照平均互信息量公式对上式求平均条件互信息量为 I(A;B│C)表述了在集C给定条件下；集A与集B之间的平均条件互信息量。 ① ② 考察在事件bj，cm发生条件下共同给ai提供信息量。为此，根据互信息量定义式写出联合事件bjcm与ai的互信息量，再对分子分母都乘以P(ai│bj)，得： 式中第二项由式①的cm与bj互换所得。 ③ 式②再一次证明了互信息量可加性，即有