信息论与编码课设计报告,统计信源熵与香农编码.docVIP

信息论与编码课程设计报告 设计题目： 统计信源熵与香农编码 专业班级 电 信 12-06 学 号 学生姓名 指导教师 教师评分 　2015年 3 月 30日 目 录 一、设计任务与要求 2 二、设计思路 2 三、设计流程图 3 四、程序运行及结果 4 五、心得体会 6 参考文献 7 附录：源程序 8 一、设计任务与要求 1.统计信源熵 要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。 2.香农编码 要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。 二、设计思路 本次课程设计中主要运用C语言编程以实现任务要求，分析所需要的统计量以及相关变量，依据具体公式和计算步骤编写语句，组成完整C程序。 1、信源熵 定义：信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为H（）。 计算公式： 2、香农编码过程： （1）将信源消息符号按其出现的概率大小依次排列为 （2）确定满足下列不等式的整数码长为 （3）为了编成唯一可译码，计算第i个消息的累加概率 （4）将累计概率变换成二进制数。 （5）取二进制数的小数点后位即为该消息符号的二进制码字。 设计流程图 统计信源熵 开始 读取给定文件 判断文件是否打开 否 并且不为空 是 统计文本字符，直 关闭文件 至文本字符读完。 统计同一字符(不分 大小写)出现的次数 计算字符概率 计算信源熵 输出 结束 2、香农编码 开始 输入概率 计算累加概率 计算码字 计算码长 计算平均码长 计算信源熵 计算编码效率 输出