信息论基础绪论.ppt

第一章：绪论 图 4 译码器的组成 研究内容 形成和发展 什么是信息 通信系统模型 1. 通信系统模型（续 12 ） 5 ）信宿 ? 信宿是消息传送的对象（人或机器）。 ? 香农信息论不研究信宿。 第一章：绪论 研究内容 形成和发展 什么是信息 通信系统模型 1. 通信系统模型（续 13 ） 第一章：绪论 ? 提高 有效性 ： （数据压缩） ? 信源编码： 无失真 信源编码和 限失真 信源编码 ? 提高 可靠性 ： （可靠传输） ? 信道编码 2. 提高通信系统性能指标的措施 研究内容 形成和发展 什么是信息 通信系统模型 第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 信息论研究的主要问题 2. 什么是信息论 3. 信息论的应用 1. 信息论研究的主要问题 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 ? 狭义信息论：又称香农信息论。 ? 一般信息论：也叫工程信息论。 ? 广义信息论 广义 信息论 一般 信息论 狭义 信息论 1. 信息论研究的主要问题（续 1 ） 1 ）什么是信息？如何度量信息？ 第一章：绪论 通信系统模型 形成和发展 什么是信息 研究内容 2 ）怎样确定信源输出信息的速率？ 3 ）对于一个信道，它传输信息的最高速率（信道容量）是 多少？ 1. 信息论研究的主要问题（续 2 ） 4 ）无失真信源编码，所需要的最少码符号数是多少？ 第一章：绪论 香农第一定理 ： 如果编码后的信源序列的 编码信息率不小于信源的熵，那么一定存 在一种无失真信源编码方法；否则，不存 在这样的一种无失真信源编码方法。 通信系统模型 形成和发展 什么是信息 研究内容 课程信息 ? 教材及主要参考书 ： ① 《信息论基础与应用》 李梅 电子工业出版社， 2016 年 6 月 ② 《信息论 --- 基础理论与应用》，傅祖芸 电子工业出版社， 2001 年 8 月 ? 考核 ： 平时成绩 20 ％（作业、考勤、实验） 期末考试 80 ％（闭卷） ? 答疑 ： 实践性教学内容、要求及学时分配 实验一：信道容量的迭代算法 2 学时 实验二： Huffman 编码 2 学时 实验三：通信系统仿真 4 学时 （备选题目： LZW 压缩编码） 国外参考教材 T. M. Cover , Fundamental of Information Theory ?? 最为流行的英文教材，为 Stanford 、 MIT 等学校的研究生课程选用 ?? 数学推导适中，强调概念，作为参考教材 R.G. Gallager , Information Theory and Reliable Communication ?? 数学推导较为艰深 ?? 作为提高教材 第一章：绪论 一、 什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 1. 概述 2. 信息的通俗概念 3. 信息的狭义概念（香农信息） 4. 信息的广义概念 ? 组成客观世界的三大基本要素： ? 物质 ? 能量 ? 信息 ? 没有物质什么都不存在，没有能量什么都不会发生，没 有信息什么都没有意义。 —— 美国学者欧廷格 研究内容 形成和发展 什么是信息 通信系统模型 第一章：绪论 1. 概述 2. 信息的通俗概念 信息的通俗概念：消息就是信息。 ? 用文字、符号、数据、语言、音符、图片、图像等能够 被人们感觉器官所感知的形式，把客观物质运动和主观 思维活动的状态表达出来，就称为 消息 。 研究内容 形成和发展 什么是信息 通信系统模型 第一章：绪论 ? 消息 中包含信息，消息是信息的载体。 2. 信息的通俗概念（续 1 ） ? 信号 是表示消息的物理量，包括电信号、光信号等。 ? 信号 中携带着消息，信号是消息的载体。 信息 信号 消息 研究内容 形成和发展 什么是信息 通信系统模型 第一章：绪论 3. 信息的狭义概念（香农信息） 第一章：绪论 研究内容 形成和发展 什么是信息 通信系统模型 香农信息：信息是对事物运动状态或存在方式的 不确定 性 的描述。 ? 通信的基本问题是在一点 ( 信宿）精确或近似恢复另一点 （信源）所选择的消息。 ———— 香农 ? 通信的过程就是消除 不确定性 的过程。 3. 信息的狭义概念（香农信息） （续 1 ） 第一章：绪论 ? 例 1 ： 甲袋红、白球各 50 个，乙袋红、白、蓝、黑球各 25 个。比较从甲袋中取出一个球是红球的事件和从乙袋 中取出一个球是红球的事件发生的难易程度，也就是事 件发生的