信息论基础教程剖析.ppt

信息论基础教程 李亦农 李梅 编著 目录 第一章 绪论 第二章 信息的度量 第三章 信源及信息熵 第四章 信道及信道容量 第五章 无失真信源编码 第六章 有噪信道编码 第七章 限失真信源编码 第一章 绪论 1.1 信息的概念 1.2 信息论研究的对象、目的和内容 1.1 信息的概念 信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴的横断学科。信息论创立的标志是1948年Claude Shannon （香农）发表的论文 “A Mathematical Theory of Communication”。在这篇文章中香农创造 性的采用概率论的方法来研究通信中的问题， 并且对信息给予了科学的定量描述，第一次 提出了信息熵的概念。 1928年，哈特莱(Hartley)首先提出了 用对数度量信息的概念。一个消息所含有的 信息量用它的可能值的个数的对数来表示。 香农信息:信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性的大小。在信息论中，我们把消息用随机事件表示，而发出这些消息的信源则用随机变量来表示。 我们把某个消息 出现的不确定性的大小，定义为自信息，用这个消息出现的概率的对数的负值来表示： 自信息同时表示这个消息所包含的信息量，也就是最大能够给予收信者的信息量。如果消息能够正确传送，收信者就能够获得这么大小的信息量。 信源所含有的信息量定义为信源发出的所有可能消息的平均不确定性，香农把信源所含有的信息量称为信息熵。自信息的统计平均定义为信源熵，即 这里的q表示信源消息的个数。信息熵表示信源的平均不确定性的大小，同时表示信源输出的消息所含的平均信息量。因此，虽然信源产生的消息可能会含有不同的信息量。 在收信端，信源的不确定性得到了部分或全部的消除，收信者就得到了信息。信息在数量上等于通信前后“不确定性”的消除量（减少量）。 1.2 信息论的研究对象、目的和内容 信息论的研究对象是广义的通信系统，它把所有的信息流通系统都抽象成以下的模型： 这个通信系统主要分成五个部分： （1）信源。顾名思义，信源是产生消息和消息序列的源。 （2）编码器。编码就是把消息变成适合在信道传输的物理量，这种物理量称为信号。编码器可分为信源编码器、信道编码器。 信源编码的目的为了提高通信系统的有效性和提高信息传输的可靠性。在实际的通信系统中，可靠性和有效性常常相互矛盾 。 （3）信道。信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道，是包括收发设备在内的物理设施。 （4）译码器。译码就是把信道输出的已迭加了干扰的编码信号进行反变换，变成信宿能够接受的消息。译码器也可分成信源译码器和信道译码器。 （5）信宿。信宿是消息传送的对象，即接受消息的人或机器。 信息论研究的是关于这个通信系统的最根本、最本质的问题。例如： ①什么是信息？如何度量信息？ ②怎样确定信源中含有多少信息量？ ③对于一个信道，它传输信息量的最高极限（信道容量）是多少？ ④为了能够无失真的传输信源信息，对信源编码时所需的最少的码符号数是多少？（无失真信源编码即香农第一定理） ⑤在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？（有噪信道编码即香农第二定理） ⑥如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？（限失真信源编码即香农第三定理） 目前，对信息论的研究内容一般有三种理解：? （1）狭义信息论：又称香农信息论。主要通过数学描述与定量分析，研究通信系统从信源到信宿的全过程，包括信息的测度、信道容量以及信源和信道编码理论等问题，强调通过编码和译码使收、发两端联合最优化，并且以定理的形式证明极限的存在。这部分内容是信息论的基础理论。 （2）一般信息论：也称工程信息论。主要也是研究信息传输和处理问题，除香农信息论的内容外，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。 （3）广义信息论：不仅包括上述两方面内容，而且