教育硕士信息论讲座.ppt

信 息 论;概述;请解释一下什么叫信息？ — “消息” 、“信号”、“知识”、“情报” —“消息” 信息 信息论是怎样的一门学科？ ;“信息”是当代使用频率很高的一个概念，也是 很难说清楚的一个概念。据不完全统计，信息 的定义有100多种，它们都从不同的侧面、不同 的层次揭示了信息的某些特征和性质，但至今 仍没有统一的、能为各界普遍认同的定义。;信息的定义;香农其人;克劳德·香农 (Claude Elwood Shannon，1916-2001) 1916年4月30日诞生于美国密西根州。 父亲是该镇的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械；此外，香农的家庭与大发明家爱迪生还有远亲关系。 ;2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。 ;1938年在MIT获得获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》 (继电器与开关电路的符号分析)。他注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。” ;1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是 《An Algebra for Theoretical Genetics》 (理论遗传学的代数学)。 ;1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现” 这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比特”(bit)一词 ;通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。 后来，写道： “信息理论可能像一个升空的气球，其重要性超???了它的实际成就” ;香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。 熵曾经是波尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。 信息熵也有类似意义。 ;香农可以熟练地玩一套杂技。 一个脍炙人口的故事：他经常骑着独轮车、手里抛着三个球来到贝尔实验室的大厅。 发明过有两个座位的独轮车，不过恐怕没有人敢与他 享；他还把独轮车造成偏离地心的，骑在上面忽高忽 低，像鸭子行走似的 这些活动表明了香农的主张，即好奇心比实用性对他的 刺激更大。 他的名言是：“我感到奇妙的是事物何以集成一体。” ;1941年香农以数学研究员的身份进入新泽西州的ATT贝尔电话公司，并在贝尔实验室工作到1972年；从24岁到55岁，整整31年。 1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。 二战时期，香农博士是一位著名的密码破译者。1949年香农发表了另外一篇重要论文 《Communication Theory of Secrecy Systems》 意义：使保密通信由艺术变成科学！ ;香农其人—荣誉奖项 ;收到两封信（消息） ： 一封谈的是其同学最近的工作、学习状况； 一封是家信，谈的是家人的健康状况 ； 有同事问：你从那一封信中获得了更多的信息？ 进一步问： 家信含有的信息比同学来信中多多少？ #很难回答—经验性的把“信息”与“消息”混为一谈 ;香农的三个观点： 1）形式化假说 通信的基本问题是在消息的接收端精确或近似地复制发送端发出的消息。通信中消息的意义和效果与通信工程没有关系。 @ 台湾将于2008年举行总统大选！;2）非决定论 一个实际的消息总是从可能发生的消息集合中选择出来的；因此，系统必须对每种选择都能工作。;3）不确定 性 人们只有在两种情况下采用通信的需要：一是自己有某种形式的消息要告知对方，而估计对方“不知道”这个消息；二是自己有某种“疑问”要询问对方，而估计对方能做出一定的解释。 ; 香农的