《信息论》电子科大复习资料.doc

信息论导论参考资料 作者 龙非池 第一章 概论 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息 归纳起来，香农信息论的研究内容包括： 信息熵?、信道容量?和信息率失真函数? 无失真信源编码定理?、信道编码定理?和保真度准则下的信源编码定理? 信源编码、信道编码理论与方法 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。 信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。 第二章 离散信源及离散熵 单符号离散信源的数学模型： 自信息量：，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley) 自信息量性质：I(xi)是随机量；I(xi)是非负值；I(xi)是P(xi)的单调递减函数。 单符号离散信源的离散熵： ，单位是比特/符号(bit/symbol)。 离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理： 如果除概率分布相同外，直到N维的各维联合概率分布也都与时间起点 无关，即： 则称该多符号离散信源为N维离散平稳信源。 N维离散平稳信源的数学模型： 二维离散平稳信源的离散熵： H(X2/X1 )称为条件熵，是条件信息量在联合概率上的数学期望，H(X1X2)称为联合熵，离散熵H(X1)、 H(X2)称为无条件熵，H2(X1X2)称为平均符号熵 且：， 对于，，当N→∞时，平均 符号熵取极限值，称之为极限熵，用H∞表示： 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离 散平稳无记忆信源。N维离散平稳无记忆信源(一维离散平稳信源的N次扩展信源)的数学模型： ， 其离散熵： 信源的平均符号熵： 如果离散平稳信源发出的符号只与前面已经发出的m(N)个符号相关， 则称该信源为m阶马尔科夫信源。可将m阶马尔科夫信源发出的符号序列看成长度为m+1的一段段符号序列，m阶马尔科夫信源的数学模型： 为强调m阶马尔科夫信源的长度特征，一般将其极限熵H∞记为Hm+1，即： 马尔科夫链的各态历经定理： 第三章 离散信源无失真编码 码字的每一个比特携带信息的效率即编码效率：，平均码长 一般采用不等长编码，使平均码长接近离散熵，从而在无失真前提下提高编码效率；编码的基本原则是大概率符号元编成短码，小概率符号元编成长码 如果所采用的不等长编码使接收端能从码序列中唯一地分割出对应与每一个符号元的码字，则称该不等长编码为单义可译码。 单义可译码中，如果能在对应与每一个符号元的码字结束时立即译出的称为即时码，如果要等到对应与下一个符号元的码字才能译出的称为延时码。 异前置码：任何一个码字都不是其他码字的前缀 m元长度为ki , i=1,2, …,n的异前置码存在的充分必要条件是： ，（克拉夫特(Kraft)不等式） 无失真编码定理：（香农第一定理） 如果L维离散平稳信源的平均符号熵为HL(X1X2…XL)， 对信源符号进行m元不等长组编码，一定存在一种无失真编码方法，当L足够大时，使得每个信源符号所对应码字的平均比特数： 无失真编码定理从理论上阐明了编码效率： L→∞时， 则极限熵H∞是一个界限，通常也称为香农界 对于L维离散平稳无记忆信源，由于其平均符号熵HL(X1X2…XL) =H(X)，故对信源符号进行m元不等长组编码，一定存在一种无失真编码方法，当L足够大时，使得每个信源符号所对应码字的平均比特数： ，此时香农界为H(X)。 对离散平稳信源进行无失真编码，每个信源符号所对应码字的平均比特数平稳无记忆信源最多， m阶马尔科夫信源次之，一般平稳信源最少。 二进制香农码的编码步骤如下： 将符号元xi按概率进行降序排列 令p(x0)=0，计算第j-1个码字的累加概率： 确定第i个码字的码长ki，满足下列不等式： 将pa(xj)用二进制表示，取小数点后ki位作为符号元xi的码字。 哈夫曼(Huffman)编码 将符号元按概率进行降序排列 为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0 将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率； 重复以上三个步骤，直到最后合并出一个以1为概率的符号元 哈弗曼码有两种排列方式，分前置和后置。采用不同排列方法编出的哈夫曼码，其码字和码长可能完全不相同，但平均码长一定是相等的，因此编码效率不