第一章信息论基础分析.ppt

基本情况 课时：32学时 考核：平时成绩：10% 作业：30%=20%+10% 考试：60% 参考资料 1、李梅、李亦农等，信息论基础教程（第2版），北京邮电大学出版社，2008.10 2、冯桂等，信息论与编码技术，清华大学出版社，2007.3 3、傅祖芸，信息论-基础理论与应用（第2版），电子工业出版社，2008.4 4、周荫清，信息理论基础，北京航空航天大学出版社，2002 5、（美）Thomas M.Cover著，阮吉寿、张华等译，信息论基础，机械工业出版社， 2008.1 … … … … 内容介绍 第一部分 绪论（第一章） 第二部分 信息测量问题 信息的度量（第二章） 信源及信源熵（第三章） 信道及信道容量（第四章） 第三部分 编码问题（香农三定理） 无失真信源编码（第五章）——香农第一定理 有噪信道编码（第六章） ——香农第二定理 限失真信源编码（第七章） ——香农第三定理 第一章 绪论 主要内容 1.1 信息的概念 1.2 信息论研究的对象、目的和内容 1.3 信息论的发展过程 1.4 信息论的研究现状 组成客观世界的三大基本要素：物质、能量和信息，材料科学、能源科学、和信息科学一起被称为当代文明的“三大支柱”。 Without materials, there is nothing. Without energy, nothing happens. Without information, nothing makes sense . 没有物质的世界是虚无的世界； 没有能源的世界是死寂的世界； 没有信息的世界是混乱的世界。 信息是信息论中最基本、最重要的概念。 信息的定义 信息定义举例： 从本质层次上定义： 信息是事物相互作用的表现形式。 信息是事物联系的普遍形式。 信息是物质的普遍属性。 信息是被反映的物质的属性。 信息是人与外界相互作用的过程中所交换的内容的名称。 信息是物质和能量在时间和空间分布的不均匀性。 信息是事物运动状态或存在方式的不确定性的描述。 信息是用以消除随机不定性的东西。 信息的定义 从科学层面上定义： 信息是收信者事先所不知道的报导。 信息是通信传输的内容。 信息是事物之间的差异（变异度） 。 信息是使概率分布发生变动的东西。 信息是负熵。 信息是有序性的度量。 信息是系统组织程度的度量。 信息是被反映的差异（变异度） 。 举例： 哈特莱信息定义。 维纳信息定义。 朗格信息定义。 香农信息定义。 哈特莱信息定义 1928年，哈特莱在《贝尔系统技术杂志》上发表了一篇题为“信息传输”的论文。认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。 信息概念：选择通信符号的方式； 例如：假定符号表是26个英文字母及标点符号，那么用符号“I am well”传达了一种信息，而用符号“I am sick”传达了另一种信息。 度量方式：选择的自由度。 例如：如果发信者只能从由0和1两个符号组成的符号表中选择符号而且长度限定为1，则发信者只有两种选择，即0和1，这时传达的信息量很小；如果放宽限制，如长度不超过n（n1）则发信者可以选择的符号串有 个，n越大能传达的信息量就越大。 哈特莱信息定义 哈特莱信息定义的局限性： 他所定义的信息不涉及内容和价值，只考虑选择的方式； 没有考虑到信源的统计性质； 把信息理解为选择的方式，就必须有一个选择的主体作为限制条件。 这些缺点使它的运用范围受到很大的限制。 维纳信息定义 1948年，维纳在《控制论——动物和机器中通信与控制问题》中给出了对信息的描述。指出： 信息是信息，不是物质，也不是能量。 1950年，维纳在《人有人的用处》一书中指出： 信息就是我们在适应外部世界，并把这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称。 接收信息和使用信息的过程，就是我们适应外界环境的偶然性的过程，也是我们在这个环境中有效地生活的过程。 维纳信息定义 意义： 信息是与物质和能量同等重要的最基本概念。 缺陷： 把信息与物质及能量混为一谈。 朗格信息定义 1975年，朗格在《信息论：新的趋势与未决问题》中提出： 信息是反映事物的形式、关系和差别的东西。 信息是包含于客体间的差别中，而不是在客体本身中。 意义： 信息就是差异。 缺陷： 没有指出没有差异就没有信息。 香农信息定义 1948年，香农在发表的论文 《通信的数学理论》中，从研究通信系统传输的本质出发，对信息做了科学的定义，并进行了定性和定量的描述。 信息：是事物运动状态或存在形式的不确定性的描述。 通