香农信息论在信息处理中的应用重点讲述.pptVIP

香农信息论在信息处理中的应用 第一部分 香农信息论的简介 第二部分 信息论的应用 香农信息论的主要内容 （1）把信息定义为“用来消除不确定性的东西”，并给出了其度量公式--熵和互信息； （2）建立了一些重要的性能界：信源输出的最大可能的信息量，满足一定失真度的要求所必须传递的最小信息量，信道上的最大可能通过能力等；（3）建立了一组重要的编码定理，从理论上指明了为 达到上述性能界限应当遵循的信息处理的方法和原则。 这不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段转变为科学。 香农信息论 1948年，“信息论之父”香农发表了一篇著名的论文《通信的数学理论》。论文给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。 香农信息论体系结构 Shannon信息论 压缩理论 有失真编码 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978) 失真理论 Shannon Gallager Berger 压缩编码 JPEG MPEG 传输理论 信道编码