[信息与通信]信息论第一章.pptVIP

PCN SS Lab of USTC * 信 息 论 与 编 码 目的： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础。 特点： 以信息理论为中心，区别与“信源编码”、“信道编码”。 以概念和物理意义为主。 结合通信系统实际应用。 讲课:（概念、方法） 自学:（数学推导、定理证明） 考试：基本概念，基本计算. 平时20%（作业、点名）+期中20%+期末60% 课 程 介 绍 信息论——美国数学家香农(C.E.Shannon)在1948年发表著名论文“通信的数学理论”开创了信息论。 编码理论——信息论的一个重要分支，用概率论、随机过程、数理统计等方法来研究信息的存储、传输、处理过程中一般规律的学科。 编码含义——信号变换，是信息处理的主要手段。 编码目的——提高系统对某一方面的要求，优化系统某一方面的性能指标。 通信系统主要性能指标——有效性、可靠性、安全性。 编码分类 信源编码——提高通信系统的有效性 信道编码——提高通信系统的可靠性 保密编码——保证通信系统的安全性 研究——信息的度量信源熵、信道容量、信息率失真函数（香农三定理）、密码学 。 课 程 内 容 第1章 绪论 第2章 信源及信源熵 第3章 无失真信源编码定理（香农第一定理） 第4章 限失真信源编码定理（香农第三定理） 信息率失真函数 第5章 信道编码 信道容量 信道编码定理（香农第二定理） 第6章 密码学 第 1 章 绪 论 ★本章大纲 1、信息论研究的主要问题。 2、狭义信息论的定义。 3、信息、消息和信号的区别和联系。 4、通信系统的物理模型及各个部分的作用。 首先了解如下两个问题 1．信息的概念是什么？ 2．信息论和信息技术分别研究什么样的问题？ 1．信息的概念是什么？ 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 2．信息论和信息技术分别研究什么样的问题？ 信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。与之对应的是信息技术，主要研究如何实现、怎样实现的问题。 1.1 信息论的形成和发展 20世纪20年代奈奎斯特（Nyquist，H．）和哈特莱（Hartley，L．V．R．）提出了信息的定义。 1924年奈奎斯特解释了信号带宽和信息速率之间的 关系。 1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法。 1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强。 1941～1944年香农对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。 50年代信息论在学术界引起了巨大的反响。 60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农 1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。 到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。 几个概念 狭义信息论和广义信息论 信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。 通常把上述范围的信息论称为狭义信息论，又因为它的创始人是香农，故又称为香农信息