信息论课件分析.pptVIP

信息理论基础 信 息 理 论 基 础考试方式：期末闭卷授课教师：李 景 文教材：信息理论基础北京航空航天大学出版社教材主编：周荫清2015-3 1、自我介绍： 李景文，201教研室 F923信号与信息处理， lijingwen@buaa.edu.cn2、授课要求： 期末闭卷考试80%+平时20%（作业） 信息理论基础（北航出版社） 信息理论习题集（清华大学出版社） 信息论：实现通信系统中信息有效、可靠地传输。 1. 面向对象：一串消息符号由信源通过信道到达信宿 2. 最终目标：“既快又好”(有效性和可靠性) 3. 数学模型：信源——信道——信宿 4. 最优准则：衡量整个过程信息统计特性(熵)的变化 5. 如何实现： 信源设计：信源熵最小； 信源编码：信源输出序列最短(快——有效性)； 信道编码：信道传输差错最小(好——可靠性)。 内容安排： 第一章 绪论 第二章 信息的统计度量 第三章 离散信源 第四章 离散信道 第五章 无失真信源编码 第六章 有噪信道编码 第七章 限失真信源编码 第八章 连续信源与波形信道 第一章 绪论 主要内容 §1.1 信息论 §1.2 信息 §1.3 通信系统数学模型 第一章 绪论 §1.1 信息论 信息论：应用数理统计的方法研究信息的传输、存储和处理的一门学科。经典信息论、广义信息论、信息科学。 1. 经典信息论 又称为数学信息论、狭义信息论、近代信息论、香农信息论。 创始人：美国工程师C.E.Shannon（香农）。 1948年，《A Mathematical Theory of Communication》 第一章 绪论 经典信息论主要研究通信系统中的数学规律。 主要研究内容： ①. 描述信源与信息量； ②. 信道与信道容量； ③. 信源与信道间的统计匹配； ④. 信源与信道的编码定理。 2. 工程信息论（又称一般信息论） 主要研究通信系统及系统中设备的最佳工作规律和最佳设计的一门科学。 研究内容涉及： ①. 信源编码理论与方法； ②. 信道编码理论与方法； ③. 信号检测、估计理论与方法； ④. 保密学； ⑤. 通信网等。 ＊部件最优，放在一起，系统不一定最优。 第一章 绪论 3. 广义信息论（又称信息科学） 上世纪70年代后，VLSI、VHSI和计算机广泛使用，信息存贮、处理能力不断提高，现代信息的研究突破香农信息论的框框，建立了更一般性的广义信息论，称为信息科学。 研究内容涉及： ①. 经典信息论和工程信息论的内容； ②. 模式识别； ③. 计算机翻译； ④. 神经网络； ⑤. 心理学； ⑥. 遗传学； ⑦. 语言学； ⑧. 语义学等。 第一章 绪论 随机现象 随机试验 随机事件 古典概率 随机变量 分布律 分布函数 特征函数 各阶矩 精描述 数学工具 粗 描 述 随机过程 随时间变化 公理化定义 概率与随机过程 第一章 绪论 随机变量 信息 自信息量 条件自信息量 互信息量 信息熵 条件熵 联合熵 平均互信息 精描述 粗 描 述 定义 第一章 绪论 §1.2 信息 1. 通俗的信息概念 最普通的概念：信息是一种消息。 例如有人告诉你一条消息。(获得信息？获得多少？) ①. 包含许多原来未知的新内容——信息量大 例如：信息论这门课期末不考试——信息量大 ②. 包含许多原来知道的旧内容——信息量小 例如：信息论这门课期末考试——信息量小 第一章 绪论 第一章 绪论 信息和消息不一样，同一条消息可产生不同的效果： 911事件是消息 美国人 阿拉伯人 中国人 植物人 { 2. 广义的信息概念 ①. 信息表征客体变化、客体之间的差异和关系； 客观世界三大要素：物质、能量、信息 物质运动需要能量，运动产生差异，差异产生信息。 没有完全一样的客观物体： 例如：双胞胎兄弟难区分—母亲能区分，存在差异。 ②.