信道输出能等概分布呢.PPT

安徽工业大学数理学院 罗冬梅 如果每个符号的传送时间为t，则每秒钟有1/t 个符号被传送，因此每秒钟最大信道传输率(信道传输速率)或信道容量为： 独立并联信道 独立并联信道 1. 含义 信道输入序列的各随机变量取值于不同符号集 信道输出序列的各随机变量亦取值于不同符号集 2. 信道容量 式中，CN(总)——N个独立并联信道的C Ck——第k个单符号离散无记忆信道的C 当N个输入变量间统计独立，且每个 输入变量Xk的概率分布均为最佳分布时， 串联信道的互信息和数据处理定理 Z出现情况下，若X和Y独立 数据处理定理 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就成为了扩展信道。 则它的二次扩展信道为： 根据互信息的定义 定理3.5 如果信道是无记忆的，即 则： 定理3.6 如果信源是无记忆的 则： 因此，如果信源、信道都是无记忆的,等号成立!! 这就是离散无记忆扩展信道的信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。 若信道的输入序列 中的随机变量 不但取自同一信源符号集,并且具有同一概率分布,而且通过 相同的信道传送到输出端,则 从而 系统1 系统2 X Y Z 定义:若信道2的传递概率使其输出Z只与输入Y有关,与 前面的输入X无关,则称两信道的输入和输出X,Y,Z序列 构成马尔可夫链. 注意:若(X,Y,Z)是马尔可夫链,则(Z,Y,X)也是马尔可 夫链。试说明？ 问题:离散串联信道中,X,Y,Z三者的传递概率p(y/x) , p(z/xy)以及p(z/x)之间有什么关系? 定理3.4 离散串联信道中,平均互信息满足 * 比特/符号 第四节 信道容量及其一般计算方法 对于一切可能的输入信号的概率分布来说，信道传输率 I(X;Y)所能达到的最大值，称为信道容量： 其中max下的{P(x)}表示对所有可能的输入信号的概率 分布来取最大值。 使信道传输率达到最大的输入概率分 布称为最佳输入分布。 我们先定义信息传输率R(信道中平均每个符号所能传送的信息量)： R=I(X,Y)=[H(X)-H(X|Y)]=[H(Y)-H(Y|X)] bit/符号 Bit/s 引例：对于二元对称信道 如果信源分布X={ω,1-ω}，则 由此可得 I(X;Y) 0 1-p 0 p p 1 1-p 1 I(X;Y) w 1/2 1-H(P) 当信道固定时，平均互信息是信源分布的 型凸函数，最大只为1-H(P) 由定理3.1可知， 对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。 信道容量与与信源无关，它是信道的特征参数，反应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P) 1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 y1 x2 y2 x3 y3 此时由于信道的损失熵和疑义度都等于0，所以 I(X;Y)=H(X)=H(Y) C=logr=logs 下面讨论几种特殊类型的信道 (2)有噪无损信道 x2 x1 y4 y5 y6 y1 y2 此时信道疑义度为0，而信道噪声熵不为0，从而 C=max{I(X;Y)}=max{H(X)-H(X|Y)}=max{H(X)}=logr 可见，信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道 x3 y6 (3)无噪有损信道 x1 x2 x3 x4 x5 y1 y2 此时信道疑义度不为0，而信道噪声熵为0， 从而 C=max{I(X;Y)}=max{H(Y)-H(Y|X)}=max{H(Y)}=logs 注：可用维拉图（图3.15）来描述有噪无损信道，无噪有损信道中平均互 信息、损失熵、噪声熵及信源熵之间的关系。 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道 如： 和 2、对称离散信道的信道容量 如果离散信道的转