香农第一编码定理之分析.pdfVIP

第28卷 第2期 金 陵 科 技 学 院 学 报 Vo1．28，No．2 2012年6月 JC JI：NAI，OF皿 ，DGINS，I11rI兀E0FIECⅡ LOGY June，2012 香农第一编码定理之分析 燕善俊h (1．徐州工程学院，江苏 徐州 221008；2．中国矿业大学信息与电气工程学院，江苏 徐州 221116) 摘 要：香农编码理论揭示了在通信系统中，采用适当的编码后能够实现高效率和高可靠地传输信息的规律 ，并 给出了相应的信源编码定理和信道编码定理。讨论了香农第一编码定理 (变长无失真信源编码定理)的实质，提 出了信源符号利用率的概念，并应用此概念对香农第一编码定理重新给出了描述，从一个新的角度指出了香农 第一编码定理的实质。 关键词：香农第一编码定理；信源符号利用率 ；平均码长；定理实质 中图分类号：TN911．21 文献标识码 ：A 文章编号：1672—755X(2012)02—0011一O4 TheAnalysisofShannonFirstCodingTheory YAN Shan—jun’。 (1．XuzhouInstituteofTechnology，Xuzhou221008，China； 2．ChinaUniversityofMiningandTechnology，Xuzhou221116，China) Abstract：Shannoncodetheoriesrevealthelawsexiting inthecommunication system thatby usingapproximatecodingmethodinformationcanbetranslatedinahighreliableandefficient way．ThispaperanalyzestheessenceofShannonfirstcodingtheory(thevariablelengthand losslesssourcecodingtheorem)，andputforwardtheconceptofutilizationrateofsourcesym— bols．Thenbasedon thisconcept，anew descriptionforShannonfirstcodingtheoryisgiven， and theessenceofShannon firstcodingtheoryisidentifiedfrom anew perspective． Keywords：Shannonfirstcodingtheory；utilizationrateofsourcesymbols；averagelengthof code；essenceoftheory 1948年 ，美国工程师香农在贝尔实验室杂志上发表 了长文 《通讯 的数学原理》[1]。他用概率测度和数 理统计 的方法系统地讨论了通信 的基本问题 ，得出了几个重要而带有普遍意义的结论 ，并 由此奠定 了现代 信息论 的基础 。香农编码理论揭示了在通信系统中，采用适 当的编码后能够实现高效率和高可靠地传输信 息的规律 ，并给出了相应 的信源编码定理和信道编码定理 。从数学观点看 ，这些定理是最优编码的存在定 理 。它们给出了编码 的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统 提供了重要 的理论依据 。本文在深入分析 了香农信源编码定理的基础上 ，从一个新的角度给出了香农信源 编码定理的实质。 1 预备知识 为便于描述，文 中所提到的离散无记忆信源均为离散平稳无记忆信源，用符号 表示，而信源 所发 收稿 日期 ：2012—03—17 作者简介：燕善俊(1978一)，男 ，江苏沛县人，讲师，博士研究生，主要从事通信编码与信息安全方面的研究。 金 陵 科 技 学 院 学 报 第 28