信息论与编码课程总结.doc

信息论与编码课程总结 信息论与编码是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用的一般规律的科学.通过学习信息论与编码，对这方面内容有基础的了解。 本学期学习的是傅祖芸等编著的《信息论与编码》教材。本书系统地论述信息论与纠错编码的基本理论。共9章,内容包括:信息的定义和度量;离散信源和连续信源的信息熵；信道和信道容量；平均失真度和信息率失真函数；三个香农信息论的基本定理:无失真信源编码定理、限失真信源编码定理和信道编码定理；若干种常见实用的无失真信源编码方法，以及信道纠错编码的基本内容的分析方法。 具体来说，第1、2、3、4章是全书的基础。首先阐述信息的概念，引出香农信息的定义，信息论研究的目的、内容。在这基础上讨论各类离散信源、连续和波形信源的信息测度——信息熵及离散信道、连续和波形信道的信息传输率和信道容量。第5、6、7章主要论述香农信息论的三个基本定理——离散信源的无失真编码定理、有噪信道编码定理及限失真信源编码定理。此部分内容是香农信息论的核心部分。第8章介绍若干种常见实用的无失真信源压缩编码方法。第9章在给出必要的数学知识基础上，论述信道纠错编码的基本内容和分析方法及一些主要的信道编码方法 同时为了加深理解，我查阅了许多相关的资料，我认为通信的根本问题是如何将信源输出的信息在接收端的信宿精确地或近似地复制出来，而这最重要的一步就是信源的编码，一个好的开始才能为以后的传输及接受、解码提供有利的条件。下面主要就信源编码问题就行讲述. 为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列施行变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。 既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴.一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：①使序列中的各个符号尽可能地互相独立；②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。在通信过程中，如何在不失真或允许一定失真条件下，用尽可能少的符号来传送信源信息，提高信息传输率；在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。这就产生了多种信源编码方式。 （以下所涉及数据均为一信源符号有6中字母a、b、c、d、e、f，概率为0.32、0.22、0.18、0.16、0.08、0.04）. 符号熵：H（X）=H（0.32、0.22、0.18、0.16、0.08、0.04）=2.3526 1、香农编码方法。香农第一定理指出了平均码长与信源之间的关系，同时也指出了可通过编码使平均码长达到极限值。香农第一定理指出，选择每个码字的长度Ki满足下式：I（xi）KiI(xi)+1就可以得到这种码。编码方式如下：首先将信源消息符号按其出现的概率大笑依次从大到小排列，为了编成唯一可译码，计算第i个消息的累加概率P=∑p（a），并将累加概率Pi变换成二进制数。最后去Pi二进制数的小数点后Ki位提取出，即为给细心符号的二进制码字。 香农码编码过程 信源符号 符号概率p 累加概率P -logp 码字长度Ki 码字 a 0.32 0 1.64 2 00 b 0.22 0.32 2.18 3 010 c 0.18 0.54 2.47 3 100 d 0.16 0.72 2.64 3 101 e 0.08 0.88 3.64 4 1110 f 0.04 0.96 4.64 5 11110 信源的平均码长为：K=∑p*Ki=2.84码元/符号 编码效率：η=H（X）/K=82.8% 2、费诺编码方法。费诺编码属于概率编码，但不是最佳的编码方法。在编N进制码时首先将信源消息符号按其出现的概率依次由小到大排列开来，并将排列好的信源符号按概率值分N大组，使N组的概率之和近似相同，并对各组赋予一个N进制码元“0”、“1”……“N-1”。之后再针对每一大组内的信源符号做如上的处理，即再分为概率和相同的N组，赋予N进制码元。如此重复，直至每组只剩下一个心愿符号为止。此时每个信源符号所对应的码字即为费诺码。 针对同一信源，费诺码要比香农码的平均码长小，消息传输速率大，编码效率高。 费诺码编码过程 信源符号ai 各个消息概率pi 第一次分组 第二次分组 第三次分组 第四次分组 二元码字 码长Ki a 0.32 0 0 00 2 b 0.22 1 01 2 c 0.18 1 0 10 2 d 0.16 1 0