4信道及互信息.pptVIP

第三章 离散信道及其信道容量 3.1 信道的数学模型及分类 3.2 平均互信息及其平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.1 信道的数学模型 3.1.1 信道的分类 3.1.2 离散信道的数学模型 3.1.3 单符号离散信道的数学模型 3.1 信道的数学模型及分类 输入输出信号的关系 由于噪声和干扰，信道的输入输出信号之间一般不是确定的函数关系，而是统计依赖关系。 信道的特性决定因素： 输入信号、输出信号，以及它们之间的统计依赖关系共同决定。 3.1.1 信道的分类 离散信道的数学模型 图中随机矢量X、Y分别表示输入、输出信号，每个随机分量Xi、Yi分别取值于符号集A=｛a1,a2,‥, ar｝和B=｛b1,b2,‥, bs｝,条件概率P(y|x)描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。 离散信道的数学模型 根据信道统计特性P(y|x)的不同，离散信道又可分成三种情况。 1、无干扰信道。 2、有干扰无记忆信道 3、有干扰有记忆信道 无干扰信道 无干扰信道。信道中没有随机性的干扰或者干扰很小，输入信号与输出信号间有确定的一一对应关系。即 有干扰无记忆信道 信道特性： 信道中有干扰（噪声），即输入信号与输出信号间无确定的对应关系。 无记忆： 指信道任一时刻的输出符号只统计依赖于对应时刻的输入信号，而与非对应时刻的输入信号及其其他任意时刻的输出符号无关，则称这种信道称为无记忆信道。 有干扰无记忆信道 满足离散无记忆信道的充要条件是： 有干扰无记忆信道 有干扰无记忆信道 有干扰无记忆信道 有干扰无记忆信道 有干扰无记忆信道 有干扰有记忆信道 实际信道往往是这种类型，这类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 处理这类信源方法。 方法一是：把记忆较强的N个符号当作一个矢量符号来处理。 方法二是：把P(y|x)看成马科夫链的形式。 单符号离散信道的数学模型 单符号信道的输入变量为X，设X∈A:｛a1,a2,‥, ar｝， 输出变量为Y,设Y∈B:｛b1,b2,‥, bs｝。并有条件概率 P(y|x)=P(yj=bj|xi=ai)=P(bj|ai) (i=1,2,‥,r; j=1,2,‥s) 这一组条件概率称为信道的传递概率或转移概率。 由于信道中有干扰（噪声）存在，若信道输入为x=ai时，输出是哪一个符号y，事先无法确定。但信道的输出一定是b1,b2,‥, br中的一个，即有 单符号离散信道的数学模型 由于信道的干扰使输入符号x，在传输中发生错误，所以可以用传递概率P(bj|ai) (i=1,2,‥,r; j=1,2,‥s)来描述干扰影响的大小。 因此，单符号离散信道的数学模型可以用概率空间[X，P(y|x),Y]加以描述。如下图所示 单符号离散信道的数学模型 单符号离散信道的数学模型 单符号离散信道的数学模型 单符号离散信道的数学模型 前向概率 输入和输出符号的联合概率为P(x=ai ,y=bj)=P(aibj), 则有 P(aibj )=P(ai)P(bj|ai)=P( bj)P(ai|bj) (3.18) 其中P(bj|ai)是信道传递概率，即发送为ai,通过信道传递接收到为bj概率。通常称为前向概率 ,它是由于信道噪声引起的。所以描述了信道噪声的特性。 后向概率 P(ai|bj)是已知信道输出端接收到符号为bj但发送的送输入符号为ai的概率，称它为后向概率。 P(ai)——输入信号的先验概率 P(ai|bj)——输入符号的后验概率 单符号离散信道的数学模型 单符号离散信道的数学模型 平均互信息及平均条件互信息 平均互信息及平均条件互信息 平均互信息 平均互信息的数学定义 通过信道传输消除了一些不确定性，而获得了一定的信息。所以定义 I(X;Y)=H(X)-H(X|Y) I(X;Y)称为X，Y间的平均互信息。 物理意义 它代表接收到输出符号后平均每个符号获得的关于X的信息量。它能反映输入与输出两个随机变量之间的统计约束程度。 平均互信息 互信息 互信息图解 互信息 互