平均互信息量和各种熵关系.pptVIP

第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 一、平均互信息量定义 二、平均互信息量物理意义 二、平均互信息量性质 2.1.6 各种熵之间的关系 离散集的平均互信息量 不同概率空间集合之间的平均互信息量对于通信问题的探讨十分重要。 通信的目的是在接收端准确地或以尽可能小的失真复现发送的消息。一般通信系统的输入和输出存在一定的概率关系。 令X和Y分别表示一个通信系统的输入事件集和输出事件集。 讨论输入X、输出Y均为离散的情况。研究离散集X和Y的平均互信息量。这时输入和输出均可用离散概率空间描述。 互信息量—信道中信息流通的测度？ 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。 它只能定量地描述输入随机变量发出某个具体消息xi，输出变量出现某一具体消息yj时，流经信道的信息量。 “输入xi ，输出yj”是一个概率为p(xi yj) 的随机事件，相应的I(xi;yj)也是随xi和yj变化而变化的随机量。 互信息量I(xi;yj)不能从整体上作为信道中信息流通的测度。 这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 作为一个测度，它不能是随机量，而是一个确定的量。 输入X、输出Y的离