信息与香农信息论概述.pptVIP

信息及香农信息论简介;大纲;世界的支柱之一:信息;阶小斯接绝牺玲誊蹿柱蹲垃咯克斌层惨某姚添屋祭毒黔澄恩忻族多少芋梦信息与香农信息论概述信息与香农信息论概述;*;*;*;*;*;*;*;*;*;*;何为信息? 什么能提供信息?;如何度量信息;*;*;*;什么是信息; ;*;*;*;大纲;;香农其人;克劳德·香农 (Claude Elwood Shannon，1916-2001) 1916年4月30日诞生于美国密西根州。 父亲是该镇的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械；此外，香农的家庭与大发明家爱迪生还有远亲关系。 ;2001年2月24日在马萨诸塞州的Medford因老年痴呆症与世长辞，享年85岁。 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。 ;1938年在MIT获得获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》 (继电器与开关电路的符号分析)。他注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。” ;1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是 《An Algebra for Theoretical Genetics》 (理论遗传学的代数学)。 ;1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现” 这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比特”(bit)一词 ;通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。 后来，写道： “信息理论可能像一个升空的气球，其重要性超过了它的实际成就” ;香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。 熵曾经是波尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。 信息熵也有类似意义。 ;香农可以熟练地玩一套杂技。 一个脍炙人口的故事：他经常骑着独轮车、手里抛着三个球来到贝尔实验室的大厅。 发明过有两个座位的独轮车，不过恐怕没有人敢与他 享；他还把独轮车造成偏离地心的，骑在上面忽高忽 低，像鸭子行走似的 这些活动表明了香农的主张，即好奇心比实用性对他的 刺激更大。 他的名言是：“我感到奇妙的是事物何以集成一体。” ;1941年香农以数学研究员的身份进入新泽西州的ATT贝尔电话公司，并在贝尔实验室工作到1972年；从24岁到55岁，整整31年。 1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。 二战时期，香农博士是一位著名的密码破译者。1949年香农发表了另外一篇重要论文 《Communication Theory of Secrecy Systems》 意义：使保密通信由艺术变成科学！ ;香农其人—荣誉奖项 ;香农的贡献; 3. 影响 是20世纪最杰出的人物之一。如果没有他，很多我们现在使用的物品根本就不可能存在。数字革命是由香农最初发起的。 ——内尔·斯罗恩（香农理论选集的编辑） Shannon理论的问世，象是引爆了一枚重磅的原子弹，震撼了整个科学界。 ——J.Pierce(香农的合作者和朋友）;信息论研究的对象; ;*;信息论研究的目的和内容;香农信息论及应用;*; 香农信息论的内容可用一句话概括为：“一个概念，三个定理”，就是信息熵的概念和三个编码定理。;;*;*;*;*;*;*;*;*; 　　推论1 f (x)=logb x (b1)在区间x 0时是严格　　　 凸的,因而当实数 满足 且 有：; 定理3.1 设b1,则有 ;*;;;;;;;香农第一定理举例 ——什么是信源编码？;;;;