香浓信息与论完成版 .ppt

香农信息论的产生 1948年香农《通信的数学理论》与《在噪声中的通信》奠定了狭义信息论的基础。这一理论认为通讯就是信息传输、是将消息由发信者送给收信者的过程，因而给出了一般通信系统的模型。他还利用统计数字的方法，正确处理信息的形式和内容的辩证关系，解决了信息量问题，给出了信息量的数学公式。 香农其人 20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。克劳德·香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。 信息概念、“比特” 克劳德·香农 (Claude Elwood Shannon，1916-2001) 1916年4月30日诞生于美国密西根州。 父亲是该镇的法官，母亲是镇里的中学校长，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械；此外，香农的家庭与大发明家爱迪生还有远亲关系。 香农其人—家庭背景 2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。 香农其人 1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现” 这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比特”(bit)一词 香农其人—信息理论 通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。 后来，写道： “信息理论可能像一个升空的气球，其重要性超过了它的实际成就” 香农其人—信息理论 香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。 熵曾经是波尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。 信息熵也有类似意义。 香农其人—信息理论 热能不能完全转化为机械能，只能从高温物体传到低温物体 香农公式 香农在信息论中指出，如果信源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信源的输出能够以任意小的差错概率通过信道传输。 该定理还指出：如果信息速率R信道容量C，则不可能传递信息.s 香农提出并严格证明了“在被高斯白噪声干扰的信道中，计算最大信息传送速率C公式”： C=Blog2(1+S/N)式中：B是信道带宽（赫兹），S是信号功率（瓦），N是噪声功率（瓦）。 该式即为著名的香农公式，显然，信道容量与信道带宽成正比，同时还取决于系统信噪比以及编码技术种类。 为对香农公式有确切的理解，我们准备用工程观点在数字信道上来阐明这个公式的正确性。在有扰信道中，传输每个符号需要一定幅值的脉冲。如果要传送M个符号，可用M种不同幅度值的脉冲代表。为了提高传送的脉冲的信息量，希望M增加。在传输的信号功率受限的情况下，脉冲幅度取值的数目越多，则各种脉冲取值之间的量化分层间隔越小。当脉冲取值间隔小到一定程度时，由于信道中噪声的干扰，使接收端难以分辨出所发送的是哪一个幅度的脉冲，这将没法获取信息量。若信号功率为S(W)，信道中白色高斯噪声的功率为N(W)，则它的均方根电压值为N1/2。为了使信号幅度分层数（或称量化取值数）最多而又能使接收端可分辨，则各取值之间的最小间隔应大于等于N1/2。 而香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。  香农的三个观点： 1）形式化假说 通信的基本问题是在消息的接收端精确或近似地复制发送端发出的消息。通信中消息的意义和效果与通信工程没有关系。 信息的两种定义 2）非决定论 一个实际的消息总是从可能发生的消息集合中选择出来的；因此，系统必须对每种选择都能工作。 信息的两种定义 3）不确定 性 人们只有在两种情况下采用通信的需要：一是自己有某种形式的消息要告知对方，而估计对方“不知道”这个消息；二是自己有某种“疑问”要询问对方，而估计对方能做出一定的解释。 信息的两种定义 香农的信息定义： 信息是用来消除 不确定性