信息论与编码zjh201209ZJH第一章.ppt

信息论与编码Information Theory and Coding 主讲教师：张建华 参考书 第一章 绪论 第一节 信息论的形成和发展 首先了解如下两个问题 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 * 河南工业大学信息科学与工程学院 电话Email: Informationtheory@163.com 2012年8月27日 信息论与编码 Information Theory and Coding 课程介绍 本课程是信息、通信、电子工程类专业的基础课程。通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，如香农编码、费诺编码、哈夫曼编码、游程编码、预测编码等，讨论了信道编码理论以及各种常用的信道编码方法，如线性分组码、卷积码、级联码等。本课程为以后开设的专业课程打下了坚实的基础。 信息论与编码(第2版) Information Theory and coding 曹雪虹 张宗橙 编著 普通高等教育 “十一五”国家级规划教材 指定教材 清华大学出版社 信息论与编码，曹雪虹,张宗橙编，北京邮电大学出版社，2001 信息论—基础理论与应用，傅祖芸编著，电子工业出版社，2001 第二节 通信系统的模型 1．信息的概念是什么？ 2．信息论和信息技术分别研究什么样的问题？ 1．信息的概念是什么？ 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 2．信息论和信息技术分别研究什么样的问题？ 信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。与之对应的是信息技术，主要研究如何实现、怎样实现的问题。 20世纪20年代奈奎斯特(Nyquist，H．)和哈特莱(Hartley，L．V．R．)提出了信息的定义 1924年奈奎斯特解释了信号带宽和信息速率之间的关系 1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法 1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强 1941～1944年香农对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。 1948年“A mathematical theory of communication(通信的数学理论)”，这是一篇关于现代信息论的开创性的权威论文，为信息论的创立做出了贡献。 50年代信息论在学术界引起了巨大的反响 60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础 到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。 保真度准则下的离散信源编码定理 几个概念 狭义信息论和广义信息论 信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面