第二章 熵与平均互信息.pptVIP

第2章 熵与平均互信息 5、联合熵的界 2.3 平均互信息 编码 信道 译码 噪声 信源 信宿 信道——传输信号的通道，信道中通常引入噪声 狭义信道——信号的传输媒介 有线信道——电线、电缆、光缆 无线信道——电磁空间——地波传播、天波传播、视线传播 发转换 媒介 收转换 调制 解调 调制信道 编码信道 广义信道——包括调制解调、收发转换装置的信道 调制信道——连续信道 编码信道——离散信道 1、单符号离散信道 定义 对应于单符号离散信源和单符号离散信宿的信道 表示 信源——离散型随机变量X 信宿——离散型随机变量Y 随机变量X的取值xi为信源发出的消息 i=1,2,…,N 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,M X P(Y/X) Y x1 x2 xN y1 y2 yM P(y1/x1) … … … P(yM/xN) P(y2/x2) 例1 例2 2、互信息 信源发出消息xi而信宿接收到消息yj——信宿消息yj所含信源消息xi的信息 定义 互信息——信宿消息yj所对应的概率P(yj)与信源消息xi信宿消息yj所对应的信道转移概率P(yj /xi )比值对数的负值，用I(xi;yj) 表示 表示 3、平均互信息/交互熵 各互信息的数学期望，用I(X;Y)表示 定义 表示 反映信宿每收到一条消息所含信源一条消