《信息论基础论文》.docVIP

信息论基础论文 姓 名： 学 号： 浙工大 专 业： 系统分析与集成 2012年 10 月 25 日 摘要：信息是从人类出现以来就存在于这个世界上，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量和平均互信息等。 关键字： 信源 信息熵 互信息 信道 信道容量 Abstract：Since the human being come out, the information has been existence in the world. The survival and development of human society is inseparable from the information acquisition, transmission, processing, recycling, treatment and control. Information theory is a information as the research object, in order to reveal the essence of information characteristics and the law as the basis, the application of probability theory, random processes and mathematical statistics method to study the information storage, transmission, processing, control, and use of such general rules and disciplines. Primary research on how to improve the information systems reliability, validity, confidentiality and authentication, in order to make the information system optimization. In information theory guidance, information technology is developing at full speed, which makes the information on the penetration of natural science and Social Science in all areas.The main basic theory of information includes: the definition and measurement of information; the all kinds of discrete and continuous source of information entropy; channel capacity of memorial, memory of discrete ,continuous channels, average mutual information and so on. Key word: Information source Information entropy Mutual information Channel Channel capacity  目 录 一．绪论 4 二．信源与信息熵 5 三．平均互信息 8 四．信道与信道容量 10 五．结束语 11 参考文献 12 一．绪论 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论