信息论编码第2章.ppt

第三章 信道及其容量 信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。 3.1 信道的数学模型和分类 3.1 信道的数学模型和分类 一、信道的分类 (1)根据输入和输出信号的时间特性和取值特性： 离散信道 连续信道 半离散或半连续信道 波形信道 (2)根据信道的统计特性： 恒参信道(卫星信道) 随参信道(短波信道) (3)根据信道的用户数量多少： 两端(单用户)信道 多端(多用户)信道 (4)根据信道是否存在干扰： 无扰信道 有扰信道 (5)根据记忆特性: 无记忆信道 有记忆信道 本章只讨论无记忆、恒参、单用户的离散信道。 二、离散信道的数学模型 条件概率 P(y/x) 描述了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。 (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 研究它的两种办法： 1、把记忆较强的N个符号当作一个N维矢量,而把各矢量之间认为是无记忆的,这样就转化成为了无记忆信道的问题. 2、把P(y/x)看成为马尔可夫链的形式，即有限记忆信道。此时信道的统计特性可以用 表示。 三、单符号离散信道 单符号离散信道?(输入输出都是单个符号,而不是矢量形式) 输入符号为X，取值于{a1,a2, …,ar}。 输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用来描述信道干扰影响的大小。 信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描述。 当然，也可用下图来描述： 一般离散单符号信道的传递概率可用矩阵形式表示，即: [例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: [例2]二元删除信道。[BEC，Binary Eliminated Channel] 解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为： 3.2 信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型下的信息传输问题。 3.2.1、信道疑义度 信道输入信源X的熵: 信道疑义度表示在输出端接收到全部符号集Y后,对于输入端符号集X还存在的不确定性,所以称为疑义度,这个不确定性是由于干扰引起的,如果是一一对应信道,那么H(X/Y)=0. 互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量 3.2.3 平均互信息的性质 平均互信息 I(X;Y) 具有以下特性： （1）非负性 即 I(X;Y) = 0 当X、Y统计独立时等式成立。 设BSC的输入概率空间为 ,讨论信道和信源变化对平均互信息的影响. 对于H(Y),根据离散无记忆信道的性质,可知: 平均互信息I(X;Y)是输入信源的概率分布P(x)的∩型凸函数。 （1）对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。 （2）对于每一个固定信道，一定存在有一种信源(某一种概率分布P(x))，使输出端获得的平均信息量为最大。 若信源固定(w一定),则 一、 信道容量的定义 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。 即存在一个最大的信息传输率 -