章 信道及其容量.ppt

第三章 信道及其容量 信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。 3.1 信道的数学模型和分类 3.1 信道的数学模型和分类 一、信道的分类 根据载荷消息的媒体不同 根据信息传输的方式分类中 根据信道的用户多少： 两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 连续信道 半离散或半连续信道 波形信道 二、离散信道的数学模型 条件概率 p(y/x) 描述了输入信号和输出信号之间统计依赖关系。 它反映了信道的统计特性。 (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。 三、单符号离散信道 单符号离散信道： 输入符号为X，取值于{a1,a2, …,ar}。 输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：p(y/x)＝p(y=bj/x=ai)＝p(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以利用条件概率来描述干扰对信道影响的大小。 用传递概率 p(bj/ai) 来描述干扰影响的大小 一般简单的单符号离散信道可以用[X, p(y/x) ,Y] 三者加以描述。 其数学模型可以用概率空间[X, p(y/x) ,Y]描述。 当然，也可用下图来描述： 一般离散单符号信道的传递概率可用矩阵形式表示，即 [例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: [例2]二元删除信道。[BEC，Binary Eliminated Channel] 解：X:{0,1} Y:{0,1,2} 此时，r ＝2，s ＝3， 传递矩阵为： (2)根据条件概率可得输出符号的概率: 3.2 信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型下的信息传输问题。 一、信道疑义度 信道输入信源X的熵 互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量 平均互信息与各类熵之间关系的说明 I(X;Y) = H(X) - H(X|Y)：从Y中获得关于X的平均互信息I(X;Y)，等于接收到输出Y的前、后关于X的平均不确定性的消除; I(X;Y) = H(Y) - H(Y|X) ：平均互信息I(X;Y)也等于发出X的前、后关于Y的平均不确定性的消除 ; 熵只是平均不确定性的描述，I(X;Y)才是接收端所获得的信息量（不确定性的消除）。 平均互信息量 I(X;Y) 确定了通过信道的信息量的多少，因此称它为信息传输率或传信率 。 （2）极值性 即 I(X;Y) = H(X) 当 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。 一、 信道容量的定义 由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量C 例4 设信道传输每比特的能量为Eb，请根据带宽效率C/W与Eb/N0的曲线图，说明信息传输率和信噪比的关系。 解 通信系统的平均互信息就是信道的信息传输率R，它表示信道传输数据的比特率。假设R=C，则传输数据的平均功率为 依此将信道容量定理写为 依此画出C/W与E