信息论与编码 第一 章.ppt

§1.1 信息的一般概念 §1.3 信息论的起源、发展及研究内容 §1.2 信息的分类 信息论自诞生到现在不过50多年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 在人类历史的长河中，信息传输和传播手段经历了五次重大变革： 语言的产生。 文字的产生。 印刷术的发明。 电报、电话的发明。 计算机技术与通信技术相结 合，促进了网络通信的发展。 1 2 3 4 5 1924年，奈奎斯特（Harry Nyquist） (1889-1976)解释了信号带宽和信息速率之间的关系。 20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。 1936年，阿姆斯特朗（Edwin·Armstrong)指出增大带宽可以使抗 干扰能力加 强，并根据 这一思想提出了宽频移的频率调制方法。 1939年，达得利（Homer Dudley）发 明了带通声码器，指出通 信所需带宽至少同待传送 消息的带宽应该一样。声码器是最早的语音数据压缩系统。这一时期还诞生了无线电广播和电视广播。 Shannon 1928年，哈特莱（Hartley）首先提出了用对数度量信息的概念。 Hartley的工作给 Shannon 很大的启示, 他在1941~1944年对通信和密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。 阐明通信系统传递的对象； 提出了信息熵的概念； 指出通信系统的中心问题； 指明了解决问题的方法。 1 2 3 4 * 第1章：概述 第2章：信源熵 第3章：信道容量 第4章：信息率失真函数 第5章：信源编码 第6章：信道编码 第7章：密码体制的安全性测度 §1.1 信息的一般概念 §1.3 信息论的起源、发展及研究内容 §1.2 信息的分类 C.E.Shannon： 美国科学家， 信息论创始人 中文译名： 山农，香农，仙农，商农 信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。 一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。” 花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； 成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息； 药有苦味，让人难以吞咽，药味是一种信息； 听老师讲课可以得到许多知识，知识也是信息……。 色彩 视觉 果香 嗅觉 苦药 味觉 知识 听觉 总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。 冷热 触觉 那么信息究竟是什么呢？ 信息是事物之间的差异 1 信息是物质和能量在时间和空间中分布的不均匀性” 2 信息是负熵 3 信息是作用于人类感觉器官的东西 4 信息就是情报 5 信息就是知识。 6 数学家认为“信息是使概率分布发生改变的东西” 7 哲学家认为“信息是物质成分的意识成分按完全特殊的方式融合起来的产物” ……。 8 1928年， 美国数学家哈 特 莱 (Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。 事隔20年， 另一位美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义他认为“信息就是一种消息”。 美国数学家、控制论的 主要奠基人维纳(Wiener）在1950年出版的《控制论与社会》 一书中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批