通信原理教材02信息论初步.ppt

现代通信原理Modern Communication Theory;第二章 信息论初步;单元学习提纲 ;2．1 信息的度量 ;2．1．1 消息的统计特性 ;表2-2 汉字电报中数字代码的出现概率 ; 通常，只考虑前一个符号对后一个符号的影响，用转移概率矩阵来描述。 ;2.1.2 离散信源的信息量; 基于这一考虑，哈特首先提出采用消息出现概率的对数（以2为底）来作为离散消息的度量单位，称为信息量，用I（xi）表示：; 例2-1 例2-2 以上是单一符号出现的信息量。对于由一串符号构成的消息，如果各符号的出现相互独立，整个消息的信息量I; 当存在两个信源X和Y时，它们所出现的符号分别为xi和yj，则定义这两个信源的联合信息量为I（xiyj）; 在数字通信系统中，信源发送的离散符号集合可以看成是X，信宿接收的离散符号集合可以看成是Y，通常X的概率场是已知的，称为先验概率，记为P（xi）。 当接收端每收到Y中的一个符号yj以后，接收者要重新估计发送端各符号xi的出现概率分布，这个概率分布称为条件概率或后验概率，用P（xi/yj）表示。 ;互信息量：后验概率与先验概率之比的对数。; 1、若xi与yj之间统计独立，即出现yj与出现xi无关。P(xi/yj)= P(xi)， I(xi,yj)=0，互信息量为0。 2、若出现xi就一定要出现yj。P(xi/yj)=1， I(xi,yj)= I(xi) ，互信息量等于信源信息量。 例4：;2．1．3 离散信源的平均信息量（熵） ;例2-3： 一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57 个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。 ;解法一：; 如果消息中各符号出现统计相关，则式（2-7）不再适用，必须用条件概率来计算平均信息量，此时引入条件熵的概念：; 例2-6 某离散信源由A、B、C三种符号组成。相邻两符号出现统计相关，其 转移概率矩阵;若上例中A、B、C符号统计独立，则可求得平均信息量 ;通信中要寻求解决的问题; 当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵;若二元离散信源的统计特性为;图 2-1 熵与概率的关系; 对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。 减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。 ; 对于两个离散信源X和Y的情况，X中xi和Y中yi同时出现的平均信息量称为联合熵或共熵，定义为; 两个离散信源X和Y，X中出现xi的条件下Y中出现yi的平均信息量称为条件熵，定义为;互信息量的统计平均值称为平均互信息量，定义为;1、共熵与熵和条件熵的关系为 H（XY）= H（X）+ H（Y/X） H（XY）= H（Y）+ H（X/Y） 2、平均互信息量与熵和条件熵的关系为 I（X，Y）= H（X）- H（X/Y） I（X，Y）= H（Y）- H（Y/X） 3、平均互信息量与熵和共熵的关系为 I（X，Y）= H（X）+ H（Y）- H（XY） 上述关系式的证明…...;wujing;2．1．4 连续信源的信息度量 ; 当各抽样点统计独立时每个点包含的平均信息量（熵）为： ;称为绝对熵。; 如前所述，离散消息源当所有符号等概输出时，其熵最大。 连续信息源的最大熵条件如何求得？最大熵是多少？ ; 取决于消息源输出上所受的限制。常见的限制有两种。 峰值受限：对于有线性要求的系统，为了避免线性失真，对信号的峰值幅度有限制。 均方值受限（功率受限）：无线性要求的系统。 ;1、对于均方值受限系统（功率受限系统) 最佳概率密度函数为正态分布 ;2、对于峰值受限情况 最佳概率密度函数为均匀分布: ; 连续信源编码的目的，就是要根据信源输出的受限情况，将其信源的概率密度函数变换为符合最大熵条件的概率密度函数，以得到最大熵。; 与离散信源相对应，当发送端连续信源为X，接收到的连续信源为Y时，它们的相对条件熵;连续信源的平均互信息量;2.2 信道容量和香农公式;2.2.1 有扰离散信道的信息传输;离散无记忆信道的转移概率可用下列矩阵表示：;对称信道;; ;对称信道的输入、输