信息论 基础理论与应用第三版(傅祖芸) 第三章.pptVIP

第三章 离散信道及其信道容量 ;信道的任务： 以信号方式传输信息和存储信息。 研究内容： 信道中能够传送或存储的最大信息量，即信道容量。;3.1 信道的数学模型和分类 ;一、信道的分类 根据载荷消息的媒体不同;根据输入端和输出端的关联;根据输入输出信号的特点;信道分析的方法 信源输出的是携带者信息的消息，而消息必须首 先转换成能在信道中传输或存储的信号，然后经过信 道传送到接收者。 一般认为，噪声或干扰主要从信道中引入，它使信 号通过信道传输后产生错误和失真。 因此，信道的输入和输出信号之间一般不是确定的 函数关系，而是统计依赖关系。只要知道信道的输入 信号、输出信号，以及它们之间的统计依赖关系，那 么信道的全部特性就确定了。;二、离散信道的数学模型; (1)无干扰(无噪声)信道 信道中没有随机性的干扰或者干扰很小，输出符号 y 与输入符号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x);(2) 有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符 号，则这种信道称为无记忆信道。; (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中，由于信道滤波频率特性不理想时造成了码字间串扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。;三、单符号离散信道; 一般简单的单符号离散信道可用 X, P(y|x) , Y 三者加以表述，其数学模型可以用如下概率空间 [X, P(y|x) ,Y] 也可用图形来描述： ;信道矩阵（转移矩阵）模型 一般离散单符号信道的传递概率可用矩阵形式表示，即 ;[例] 二元对称信道，[BSC，Binary Symmetrical Channel];符号“2”表示接收到了“0”、“1”以外的特殊符号;（1）联合概率;含义： 输出端收到的某符号，必是??入端某一符号输入所致。;3.2 信道疑义度与平均互信息;后验熵： 接收到bj后，关于输入变量X的不确定性。 ;信道疑义度： 后验熵在输出符号集Y范围内是随机量。对后验熵在符号集Y中求数学期望，即--信道疑义度：;互信息量 I(x ; y)： 收到消息y 后获得关于x的信息量，即消除的不确定性量。;平均互信息I(X; Y)：;另一角度：平均互信息=通信过程所消除的不确定性：; I(X;Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X) + H(Y) - H(XY) 其中：;维拉图： 可用于各类熵与平均互信息之间关系 H(X|Y) = H(X) - I(X;Y) 损失熵 / 信道疑义度 H(Y|X) = H(Y) - I(X;Y) 噪声熵 / 散布度 H(XY) = H(X)+H(Y)- I(X;Y) ; 两种特殊信道分析;则平均互信息=H(X)=H(Y);无损信道特性 在无损信道中，输入符号和输出符号之间一一对应，所以接收到Y后不存在对于输入X的任何不确定性，即信道疑义度（损失熵）等于零。 同时，因为输入和输出符号之间一一对应，所以噪声熵等于零。这时，接收到的平均互信息量就是输入信源所提供的信息量。 维拉图：;（2）输入输出独立信道 ( 全损信道 ) 信道输入和输出没有依赖关系，信息无法传输，称为全损信道。; 因此在全损信道中，接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于零。 同样，也不能从X中获得任何关于Y的信息量。 平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程