第一章信息论基础 精选文档.pptVIP

信息论的研究内容 ? 研究内容： 基于通信系统模型，研究信息传输和处理的共 同规律。 编码器 信道 译码器 信宿 噪声源 信源 信源编码 + 信道编码 信道译码 + 信源译码 任俊玲 junlingrentom 基本情况 ? 课时： 32 学时 ? 考核：平时成绩： 10% 作业： 30%=20%+10% 考试： 60% 参考资料 ? 1 、李梅、李亦农等，信息论基础教程（第 2 版）， 北京邮电大学出版社， 2019.10 ? 2 、冯桂等，信息论与编码技术，清华大学出版社， 2019.3 ? 3 、傅祖芸，信息论 - 基础理论与应用（第 2 版），电 子工业出版社， 2019.4 ? 4 、周荫清，信息理论基础，北京航空航天大学出 版社， 2019 ? 5 、（美） Thomas M.Cover 著，阮吉寿、张华等 译，信息论基础，机械工业出版社， 2019.1 … … … … 内容 介绍 ? 第一部分 绪论（第一章） ? 第二部分 信息测量问题 √ 信息的度量（第二章） √ 信源及信源熵（第三章） √ 信道及信道容量（第四章） ? 第三部分 编码问题（香农三定理） √ 无失真信源编码（第五章） —— 香农第一定理 √ 有噪信道编码（第六章） —— 香农第二定理 √ 限失真信源编码（第七章） —— 香农第三定理 保真度准则下的信源编码定理 第一章 绪论 主要内容 ? 1.1 信息的概念 ? 1.2 信息论研究的对象、目的和内容 ? 1.3 信息论的发展过程 ? 1.4 信息论的研究现状 ? 组成客观世界的三大基本要素： 物质、能量 和 信息 ， 材料科学、能源科学、 和 信息科学 一起被称为当代 文明的“三大支柱”。 Without materials , there is nothing. Without energy , nothing happens. Without information , nothing makes sense . 没有 物质 的世界是 虚无 的世界； 没有 能源 的世界是 死寂 的世界； 没有 信息 的世界是 混乱 的世界。 ? 信息是信息论中最基本、最重要的概念。 1.1 信息的概念 信息的定义 ? 信息定义举例： 从本质层次上定义： 信息是事物相互作用的表现形式。 信息是事物联系的普遍形式。 信息是物质的普遍属性。 信息是被反映的物质的属性。 信息是人与外界相互作用的过程中所交换的内容的名称。 信息是物质和能量在时间和空间分布的不均匀性。 信息是事物运动状态或存在方式的不确定性的描述。 信息是用以消除随机不定性的东西。 信息的定义 从科学层面上定义： 信息是收信者事先所不知道的报导。 信息是通信传输的内容。 信息是事物之间的差异（变异度） 。 信息是使概率分布发生变动的东西。 信息是负熵。 信息是有序性的度量。 信息是系统组织程度的度量。 信息是被反映的差异（变异度） 。 ? 举例： 哈特莱信息定义。 维纳信息定义。 朗格信息定义。 香农信息定义。 通信领域关于信息的定义 哈特莱信息定义 ? 1928 年，哈特莱在《贝尔系统技术杂志》上发表 了一篇题为“信息传输”的论文。认为，发信者所 发出的 信息，就是他在通信符号表中选择符号的具 体方式 。 信息概念 ：选择通信符号的方式； 例如 ：假定符号表是 26 个英文字母及标点符号，那么用 符号“ I am well” 传达了一种信息，而用符号“ I am sick” 传达了另一种信息。 度量方式 ：选择的自由度。 例如：如果发信者只能从由 0 和 1 两个符号组成的符号表 中选择符号而且长度限定为 1 ，则发信者只有两种选择， 即 0 和 1 ，这时传达的信息量很小；如果放宽限制，如长 度不超过 n （ n1 ）则发信者可以选择的符号串有 个， n 越大能传达的信息量就越大。 ? ? n i i 1 2 哈特莱信息定义 ? 哈特莱信息定义的局限性： 他所定义的信息不涉及内容和价值，只考虑选择的方式； 没有考虑到信源的统计性质； 把信息理解为选择的方式，