信息论与编码PPT第一章.pptVIP

教材 信息的直观认识 香农信息的度量 信息——“是来消除不确定性的东西”； 互信息 信息的特性 信息是可度量的； 信息是无形的； 信息是可共享的； 信息是无限的； 信源编码的主要目的 信源编码的主要目的 压缩！使信号能够更加有效地传输信息。 信道编码的主要目的 调制的主要目的 调制的主要目的 香农的主要贡献 信息论的研究内容 信息论的研究内容 信息论的研究内容 信息论的分支 信息论的发展 信息论的发展 信息论的发展 信息论的应用 信息论的应用 香农生平介绍 香农的主要学术贡献 香农的主要学术贡献 香农的特点 附录：希腊字母表 * * 信息论与编码 董优丽 《信息论与编码》,陈 运,电子工业出版社 《信息论—基础理论与应用》,傅祖芸,电子工业出版社 《纠错码—原理与方法》,王新梅,西安电子科技大学出版社 《信息论与编码》,曹雪虹,北京邮电大学出版社 《信息论与编码》,傅祖芸,电子工业出版社 参考教材： 课程概述 当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。 本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成。 学习方法 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。 学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 第一章 绪论 主要内容： 第一节 信息的概念 从哲学的角度上讲，信息是构成物质世界的三大支柱之一，其他两个是物质和能量。 可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。 但是有史以来，人们都没有对信息下过一个确切的定义。就像对于物质和能量一样。 信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。 什么是信息？ 通俗的说，信息就是消息。如：告诉你一个消息…… 从不同的角度，有上百种不同的定义； 如： “信息是事物之间的差别。” “信息是接受者事先不知道的东西。” 广义地说，信息是认识主体（人、生物、机器）所感受的事物运动状态和变换方式。 狭义地说，信息是用来消除不确定性的东西。 ——这是香农（Claude Elwood Shannon)给出的定义。 什么是信息？ 信息的直观认识 信息的直观认识 信息的直观认识 互信息量： yj对xi的互信息量定义为后验概率与先验 概率比值的对数。 先验概率：信源发出消息xi的概率p(xi )。 后验概率：信宿收到yj后推测信源发出xi的概率p(xi / yj )。 消息是信息载体和具体表现形式（如文字、符号、图片、电影等）； 消息、信号和信息之间的关系 信号是消息的表现形式； 消息是信号的具体内容； 信号是表示消息的物理量（随时间、空间变化），适合在信道传输的物理量，如声波、光波、电磁波等。 消息、信号和信息之间的关系 信息论研究的对象 信息论研究的对象 呵呵，这样就能过去啦！ 通信系统的指标 通信系统的基本问题：在某一点精确或近似地恢复另一点发送的信息。 * *