信息理论基础第一章课件.pptVIP

第1章 绪论 信息理论基础 主讲教师：常旭青 先修课程：《概率论与数理统计》、《线性代数》 课程在培养方案中地位、作用： 信息理论基础是信息与通信工程学科的学科基础教育课程，是通信工程和信息对抗专业的高年级学生必修课。本课程采用概率论数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；目的是使学生了解香农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域技术奠定良好的理论基础。 本课程共计48学时，周进度为6学时，授课时段为1—8周。考试形式为闭卷考试。讲课:（概念、方法）自学:（数学推导、定理证明）考试：（基本概念，基本计算）   采取多媒体直观授课与板书相结合的形式。 教材及参考书 教材：周荫清，《信息理论基础》，北京航空航天大学出版社 第1章 绪论 1.1 信息 7.熵的概念 〔热力体系中〕不能用于作功的热能可以用热能的变化量除以温度所得的商来表示，这个商叫做熵。 〔科学技术上〕泛指某些物质系统状态的一种量度或者某些物质系统状态可能出现的程度。 1.2 通信系统的模型 1.3 信息论的形成和发展 * 中北大学通信工程系 电话：3559469 Email: changxuqing@nuc.edu.cn 2010年3月-5月 课程简介 课程安排 教学形式 参考书： 1. 傅祖芸，《信息论—基础理论与应用》，电子工业出版社 2. 方军、俞槐栓，《信息论与编码》，电子工业出版社 3. 吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出 版社 4. 姜丹，《信息论与编码》，中国科学技术大学出版社 1.2 通信系统模型 1.3 信息论的形成和发展 首先了解如下两个问题： 1．信息的概念是什么？ 2．信息理论和信息技术分别研究什么样的问题？ 1.1 信息 1．信息的概念 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 2．信息论和信息技术分别研究的问题 信息不是静止的，会产生会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。与之对应的是信息技术，主要研究如何实现、怎样实现的问题。 3.信息、消息和信号的关系 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含有信息的语言、文字和图像等，例如我们每天从广播节目、报纸和电视节目中获得各种新闻及其他消息。消息是具体的，它载荷信息，但它不是物理性的。 信号是消息的物理体现，为了在信道上传输消 息，就必须把消息加载（调制）到具有某种物理特征的信号上去。信号是信息的载荷子或载体，是物理性的。如电信号、光信号等。 按照信息论或控制论的观点，在通信和控制系统中传送的本质内容是信息，系统中实际传输的则是测量的信号，信息包含在信号之中，信号是信息的载体。信号到了接收端（信息论里称为信宿）经过处理变成文字、语声或图像，人们再从中得到有用的信息。 4.信息提取过程及信息提取方法 在接收端将含有噪声的信号经过各种处理和变 换，从而取得有用信息的过程就是信息提取，提取 有用信息的方法主要有检测和估计两类。 5.数据 载有信息的可观测、可传输、可存储及可处理的信号。 6.信息的基本特征 信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。其特征有： 无形的。看不见，摸不到，不具有实体性； 可共享。信息的共享是无限的，但存在竞争，引起加密等技术的发展； 无限的。运动是永恒、无限的，而且信息在时空上也是可扩展的； 可度量。满足三方向：结构的、统计的和语义的。 一、通信系统的物理模型 信源 信源编码 u 加密密钥 信道编码 信道 干 扰 源 窃 听 者 信道解码 解密 解密密钥 信宿 信源解码 加密 x y z Z’ y’ x’ v k k 图1-2-1 通信系统的物理模型 二、模型中各个部分的作用及需要研究的核心问题 信源 信源是向通信系统提供消息（u）的人和机器。 信源输出的是以符号形式出现的具体消息，它载荷信息。