信息理论的基本知识.pptxVIP

;信息理论的基本知识; 据此，可得信息量与事件概率之间的关系为 （1-1） P（x）是事件发生的概率，I为发生该事件的消息包含的信息量。信息量的单位由对数的底a的取值决定，若a=2，则信息量的单位是比特（bit）；若a=e，则信息量的单位是奈特（nit）；若a=10，则信息量的单位是哈特莱。使用最多的信息量单位是比特。; （1）若有M个独立的消息，每个消息出现的概率相同，即P（x）=1/M，则 （1-2） 若M=2，则I=1bit；若M=2k，则I=k bit。 （2）若n个符号组成的集合中，每一个符号xi在消息中是按一定的概率P（xi）独立出现的，且 ，则整个消息的信息量为 （1-3） ; 【例1-1】 已知二元信源只有“0”、“1”两种符号，如“0”出现的概率为1/3，求1所包含的信息量。 解：据题意可知，“1”出现的概率是2/3，则其包含的信息量为 【例1-2】 已知英文字母e和z出现的概率分别为0.105和0.001，求英文字母e和z的信息量。 解：e的信息量为 z的信息量为; 【例1-3】 某离散信息源由0、1、2、3四种符号组成，它们出现的概率分别为3/8、1/4、1/4、1/8，试求消息 201020130213001203210100321010023102002010312032100120210的信息量。 解：在此消息中，0出现23次，1出现14次，2出现13次，3出现7次，于是可得消息的信息量为; 当消息很长时，用符号出现的概率计算信息量很烦琐，采用平均信息量的计算方法比较方便。所谓平均信息量是指每个符号所含信息量的统计平均值，又称为信息源的熵，其单位是bit/符号。n个符号的离散消息的平均信息量计算公式为 （1-4） 对于例1-3可求出消息中各符号的平均信息量（或信源的熵）为; 因此，上述含有57个符号消息的总信息量为 从计算结果看，与例1-3相比略有差异，原因在于两者平均处理的方法不同。随着消息中符号数的增加，这种误差会逐渐减小。 需要注意的是，信源的熵越大越好，这说明信源的信息有效性高。信源的最大熵发生在每一个符号等概率出现时，即 ，且最大熵等于 bit/符号。;1.2 信道容量与香农公式 单位时间内信道上所能传输的最大信息量称为信道容量。它可用信道的最大信息传输速率来表示。 以无限小的差错率和无限大的速率传输信息是人们对通信系统的理想要求。可是信道传输信号的功率和信道的带宽均是有限的，信号在信道中传输要受到干扰的影响，在实际的工程应用中往往采用折衷方案，即在满足可靠性的前提下尽可能地提高信息速率。那么，在怎样的情况下，信道可以不失真地将信息以尽量高的速率传输呢？香农定理为我们解决了这个问题。; 香农定理的内容是，若信息源发出的信息速率小于或等于信道容量，则信息可以在信道中无失真地传输；反之，则无法正确传输信息。 对于给定的有扰信道，香农公式给出了信道容量、信道带宽和高斯白噪声干扰信号（或信道输出信噪比）之间的关系： (bit/s) （1-5） 式中，C为信道容量（单位bit/s），B为信道带宽（Hz），S为信号功率（W），n0为输入端加性高斯白噪声的单