20104590曹雪萍..docVIP

香农信息论的局限性分析 信息与计算科学专业 曹雪萍 指导教师 吴慧 摘要 香农信息论为目前的通信系统设计和编码都有不可忽视的指导意义，但其也有不足的地方，按我个人的理解，主要包括三方面，一个局限是香农得出的大部分结果，都是在理论上得到的极限值，虽然为通信系统的设计给出了非常有指导意思的理论界限，但实际系统中应该如何去达到这些界限，香农并没有给出，最典型的例子就是信道编码定理；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的，在实际系统中，这些条件可能不能满足，因而不可能达到香农所得出的一些结论或界限；最后一个是局限是点对点通信的局限性，因为通信的构架存在网络结构和多用户的结构，所以对于网络和多用户的情形，香农并没有更深入的研究。 关键词 信息论；条件熵；定义；可靠性 Limitations Analysises of Shannon’s Information Theory Abstract Limitations analysises of shannon’s information theory are analyzed. It is pointed out that information theory didn’t consider the reliablity compeleteness and other characteristics of information , and the computation formula of conditional entropy is false. The corrected the computation formula of conditional entropy is given. Examples are given illustrate the conditional entropy maybe increased. So Shannon’s definition of information is not absolutely correct. The information presented why information theory can be primely used in communication. While it cannot well used in our daily life. Because the analyses, new definition of information is given, the model how information is produced, and correlative models of information. Keywords information; theory; conditional; entropy; reliablity 引言 信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。香农信息论不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验阶段转为科学。香农信息论主要讨论点对点通信中的一些基本问题，最著名的结论包括其中的四大定理，也即为无失真信源编码定理，限失真信源编码定理，信道编码定理，信源信道分离定理。从新的角度指出了香农信息论的局限性，指出了它没有考虑信息的可靠性，完备性等特点，指出条件熵的计算公式问题并且进行了纠正，并且举例证明了条件熵可能增加，进而香农信息定义中的不确定性的减少也不是绝对的。说明了为什么信息论能够在通信中得到应用，却不能很好地在日常生活中应用。在这些分析的基础上给出了信息的新定义以及信息相关的一些模型。 1、香农信息论对信道、信源编码的指导意义 香农信息论研究的一个主要问题是信道编码问题，信道编码是在著名的信道编码定理指导下发展起来的。该定理指出：对信息序列进行适当的编码后提高信道传输的可靠性，对应的编码方法即为信道编码。 香农信息描述的是事物的不确定性，因此，相应的香农信息论讨论的多余度是统计多余度。统计多余度在各种信源中是普遍存在的，如何在无失真或限定失真的条件下对信源进行高效压缩是香农信息论研究的重点。香农第一定理和香农第三定理从理论上给出了无失真信源编码与限失真信源编码的压缩极限，对压缩编码的研究具有重要的理论指导意义。香农信息论对信源统计多余度