信息22 - 副本.doc

信息论与编码课程设计 设计题目：1.统计信源熵 2.编码 摘要 信息是从人类出现以来就存在于这个世界上，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为 研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域，并且应用与众多领域：编码学、密码学与密码分析、数据压缩、数据传输、检测理论、估计理论等。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信源熵；有记忆，无记忆离散和连续信道的信道容量，平均互信息；无失真信源编码相关理论。 求离散性信源熵也是信息论课程实践学习中必须要经历，在了解常规的求解方式的同时，利用计算机语言进行实践编程。 用预先规定的方法将文字、数字或其他对象编成数码，或将信息、数据转换成规定的电脉冲信号。编码在电子计算机、电视、遥控和通讯等方面广泛使用。 关键字：信息论 信源熵 香农编码 C语言编程设计  目录 摘要 2 1任务与要求 4 1.1统计信源熵 4 1.2香农编码 4 1.3报告要求 4 2设计思路 4 2.1香农编码原理 4 2.2编译工具 5 3设计流程图 5 4程序运行及结果 6 4.1程序运行 6 4.2运行结果 7 5、心得体会 8 6参考文献………………………………………………………………………………………………………………………………….9 7附录（源程序）………………………………………………………………………………………………………………………9 1任务与要求 1.1统计信源熵 要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。 1.3报告要求 （1）学生可独立完成，或组队共同完成。每队人数不多于4人。提交一份独立完成的课程设计报告（纸质和电子版），做5分钟PPT汇报，并演示程序。每队选择1人汇报和演示程序，其他人答辩。 （2）课程设计报告包括设计任务与要求、设计思路、设计流程图、程序运行及结果、心得体会、参考文献、附录（源程序）等内容。 2设计思路 2.1香农编码原理?????香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编?码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码？香农第一定理指出，选择每个码字的长度Ki满足下式I(xi)≤K﹤I(xi)+1,?就可以得到这种码。这种编码方法就是香农编码。 . 2.2编译工具 Visual C++ 6.0，简称VC或者VC6.0，是微软推出的一款C++编译器，将“高级语言”翻译为“机器语言（低级语言）”的程序。Visual C++是一个功能强大的可视化软件开发工具。Visual C++6.0由许多组件组成，包括编辑器、调试器以及程序向导AppWizard、类向导Class Wizard等开发工具。 这些组件通过一个名为Developer Studio的组件集成为和谐的开发环境。Visual C++是一个功能强大的可视化软件开发工具。 开始 读入txt文档 判断读入字符属于26字符 N 中哪个的大 去掉 Y 统计每个字符总数目及文档总符号数 计算符号概率、累加概率 计算信源熵 开始 输入一组概率 由大到小排序 确定码长，信源熵，累加概率 确定码字 输概率，累加概率， 信源熵，字长，码字 结束 4程序运行及结果 4.1程序运行 将程序进行编译纠正错误之处如图一所示： 图一 4.2运行结果 信源熵：编译无错误后输入文档Snubs are mainly teenagers aged between 13 and 25, who are having fun with the service. There are all sorts of things snubs like to share for immediate consumption, ranging from wacky facial expressions to pictures of a meal theyre about to eat. Its a way to share a moment