信息论与编码序论1讲.pptVIP

按照携带信息的信号的性质*11离散连续半连续在众多的分类原则和方法中，最重要的就是按照信息性质的分类。按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。全信息模糊信息语义信息语法信息语用信息明晰信息离散信息连续信息语法信息考虑的是事物运动状态和变化方式的外在形式。当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。§1.1信息的一般概念*§1.2信息的分类§1.3信息论的起源、发展及研究内容信息论自诞生到现在不过60年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。在人类历史的长河中，信息传输和传播手段经历了五次重大变革：语言的产生。文字的产生。印刷术的发明。电报、电话的发明。计算机技术与通信技术相结合，促进了网络通信的发展。123451924年，奈奎斯特（HarryNyquist）(1889-1976)解释了信号带宽和信息速率之间的关系。20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。1936年，阿姆斯特朗（Edwin·Armstrong)指出增大带宽可以使抗干扰能力加强，并根据这一思想提出了宽频移的频率调制方法。*1939年，达得利（HomerDudley）发明了带通声码器，指出通信所需带宽至少同待传送消息的带宽应该一样。声码器是最早的语音数据压缩系统。这一时期还诞生了无线电广播和电视广播。Shannon*1928年，哈特莱（Hartley）首先提出了用对数度量信息的概念。Hartley的工作给Shannon很大的启示,他在1941~1944年对通信和密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。提出了信息熵的概念；*阐明通信系统传递的对象；指出通信系统的中心问题；指明了解决问题的方法。1234以上这些成果1948年以“通信的数学理论”（Amathematicaltheoryofcommunication）为题公开发表，标志着信息论的正式诞生。维纳（Wiener）在研究火控系统和人体神经系统时，提出了在干扰作用下的信息最佳滤波理论，成为信息论的一个重要分支。1959年，香农发表了“保真度准则下的离散信源编码定理”（Codingtheoremsforadiscretesourcewithafidelitycriterion）系统地提出了信息率失真理论（rate-distortiontheory）。为信源压缩编码的研究奠定了理论基础。年代，信息论在学术界引起了巨大反响。1951年，美国无线电工程师协会（IRE）成立了信息论组，并于1955年正式出版了信息论汇刊。60年代，信道编码技术有了较大发展，使它成为信息论的又一重要分支。1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。70年代以后，多用户信息论成为中心研究课题之一。后来，随着通信规模的不断扩大，人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把密码学也归类为信息论的分支。如今信息安全已是网络通信和电子商务系统中不可缺少的重要环节。人们对信息的认识越来越深入，先后提出了加权熵、动态熵等概念，建立在模糊数学基础之上的模糊信息的研究也取得了一定的进展。信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到诸如医学、生物学、心理学、神经生理学等自然科学的各个方面，甚至渗透到语言学、美学等领域。从60年代开始，一些社会学家在研究社会问题和社会现象时，先后提出了后工业社会和信息社会的概念，信息论开始向经济学和社会科学领域渗透。*1977年，美国经济学家马克·波拉特发表了长达九卷的《信息经济》报告，用信息论