信息论第一章教案.ppt

信息与编码 西北大学信息学院 卜起荣 课程计划 1、计划学时54，全部为讲课学时 2、每章结束交一次作业，每次交一个班 3、总成绩由三部分组成，平时成绩占20％，期中考试成绩占20%，期末考试成绩占60％ 4、平时成绩满分20分，少交作业一次扣一分，无故缺课一次扣一分 5、计划讲授教材的一至六章 注意事项 1、实行严格的请假制度，请假必须有请假条且必须加盖团总支公章或有辅导员老师签字 2、保持课堂纪律，有问题可举手示意 3、欢迎大家及时提出反馈意见，以便更好的进行互动教学。 Email:boqirong@163.com * 课程概述 当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成 学习方法 本课程以概率论为基础，数学推导较多，教学时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 第一章 绪论 第一节 信息的概念 第二节 信息论研究的对象、目的和内容 第三节 信息论的发展简史与现状 第一节 信息的概念 从哲学的角度上讲，信息是构成物质世界的三大支柱之一，其他两个是物质和能量。 可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。 但是有史以来，人们都没有对信息下过一个确切的定义。就像对于物质和能量一样。 信息的概念 维纳信息论 信息是信息，不是物质，也不是能量 香农信息论 信息就是事物运动状态或存在方式的不确定性的描述 信源 编码器 信道 译码器 信宿 噪声源 信息论研究的对象、目的和内容 通信系统模型 * 数字通信系统模型 信道 信源 信源编码 加密 信道编码 干扰源 信宿 信源解码 解密 信道解码 加密密钥 解密密钥 信息论研究的对象、目的和内容 信源：消息的来源 编码器：把消息变换成信号 信道：传递信号的媒介 译码器：把信道输出的信号反变换 信宿：信息的接受端 噪声：信道中的干扰 信息论所要解决的问题 可靠性 有效性 保密性 认证性 信息论的理解 狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道编码理论 一般信息论 噪声、滤波与预测、估计、保密等 广义信息论 所有与信息相关的邻域 信息论的发展历史 1924年，Nyquist提出信息传输理论； 1928年，Hartly提出信息量关系； 1932年，Morse发明电报编码； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的数学理论 * Claude Shannon (1916-2001) “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农(Claude E.Shanon)在他的惊世之著《通信的数学理论》中的一句铭言。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 香农因此成为信息论的奠基人 * 香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。 * 在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作。 香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来