3第三章离散信道及其信道容量重点.ppt

小结 3.8 信源与信道的匹配 信道的信道容量为 例 若某离散无记忆信源，其概率空间为： 通过一无损无噪二元离散信道来传输。 C=1(比特/信道符号) 信源的信息熵为 H(X)=1.937 (比特/信源符号) 如何对S进行编码？将信源符号编码成信道符号。 编码方案有多种，如： 3.8 信源与信道的匹配 由于信道是无噪无损的，因而，信息传输率R(平均互信息)等于信道输入信源(编码后得到的新信源)的信息熵。 方案C1的每个信源符号需三个信道符号(二元符号), 方案C2则需4个信道符号。 而原始信源的信息熵为H(X)=1.937 (比特/信源符号) 利用方案C1进行编码后，得到的新信源的信息熵（每个信道符号所携带的信息量）为： H(X)/3=0.646(比特/信道符号) 利用方案C2进行编码后，得到的新信源的信息熵： H(X)/4=0.484(比特/信道符号) 3.8 信源与信道的匹配 由于信道是无噪无损的，因而，信息传输率R(平均互信息)等于信道输入信源(编码后得到的新信源)的信息熵。 方案C1，R1=0.646 (比特/信道符号) 易知：R2R1C=1 方案C2，R2=0.484 (比特/信道符号) 因而，两种方案下信息传输率(平均每个信道符号所能携带的信息量)分别为： 若采用huffman编码，编码结果为： 每个信源符号平均需要的信道符号数为： 此时平均信道符号所能携带的信息量，即信息传输率为： 1/2+2*(1/4)+3*(1/8)+4*(1/16)+5*(1/32+1/32)=31/16=1.937 H(X)/1.937=1.937/1.937=1 (比特/信道符号)=C 第一节 信道的数学模型及分类 第二节 平均互信息及平均条件互信息 第三节 平均互信息的特性 第四节 信道容量及其一般计算方法 第五节 离散无记忆扩展信道及其信道容量 第八节 信源与信道的匹配 第六节 独立并联信道及其信道容量 第七节 串联信道的互信息和数据处理定理 3.5 离散无记忆扩展信道及其信道容量 对如下离散无记忆信道[X,P,Y] 则它的N次扩展信道[XN,π,YN]可描述为： 1、离散无记忆扩展信道数学模型 XN YN X Y XN=(X1,X2,…,XN),其每一个分量Xi和X具有相同的概率空间。 YN=(Y1,Y2,…,YN),其每一个分量Yi和Y具有相同的概率空间。 3.5 离散无记忆扩展信道及其信道容量 离散无记忆信道[X,P,Y]与其N次扩展信道[XN,π,YN]三参数的关系如下： 1、离散无记忆扩展信道数学模型 1）X取值于符号集A= 2) Y取值于B= 3) 信道矩阵P为： XN取值于符号集 , YN取值于符号集 , 信道矩阵π为： 3.5 离散无记忆扩展信道及其信道容量 共有rN个符号 下面讨论N次扩展信源转移概率 与原始转移 概率之间的关系： 由于 因而 (由于信道的无记忆性) 共有sN个符号 例3.12 二元无记忆对称信道的二次扩展信道 二元记忆对称信道的输入符号集为A={0,1}, 输出符号集为B={0,1},信道矩阵为： 0 1-p 0 p p 1 1-p 1 其二次扩展信道的输入符号集为： A2={00,01,10,11} 其二次扩展信道的输出符号集为： B2={00,01,10,11} 转移概率 3.5 离散无记忆扩展信道及其信道容量 二次扩展信道可图示为： 于是它的二次扩展信道的信道矩阵为： 3.5 离散无记忆扩展信道及其信道容量 2、 离散无记忆扩展信道的信道容量 根据平均互信息的定义，扩展信道的平均互信息为： 定理3.4 对一般离散信道模型[X,P,Y]，其N次扩展信道为[XN,π,YN], XN=(X1,X2,…,XN), YN=(Y1,Y2,…,YN),如果信道是无记忆的，即 则： 定理3.5 如果信源X是无记忆的,即 则： p(XN) 扩展信道的平均互信息与原始信道的平均互信息关系如下： 3.5 离散无记忆扩展信道及其信道容量 推论：如果信源、信道都是无记忆的，则 定理3.6： 对一般离散无记忆信道，若其信道容量为C，则其N次扩展信道的信道容量CN =NC . 前一等式是前面两定理的直接推论，后一等式是由于 X1,X2,…,XN具有相同的概率空间， Y1,Y2,…,YN也具有相同的概率空间，且传递概率都相同，因而，对i=1,2,…,N 证明：由于信道容量是平均互信息的最大值，且由定理3.4及上述推论，可假定信源是无记忆的，于是其信