信息理论与编码实验指导书要点.docVIP

《信息理论与编码》实验指导书 武汉理工大学教材中心 2009年7月 实验一 绘制二进熵函数曲线 一、实验目的 　　1.熟悉 Matlab 工作环境及工具箱； 　　2.掌握 Matlab 绘图函数； 　　3.理解熵函数表达式及其性质。 二、实验内容 　　实验内容与要求 　　内容：用 Matlab 软件绘制二进熵函数曲线。 　　要求： 　　1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理； 　　2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理； 　　3. 独立完成实验，认真做好实验记录； 　　4. 实验结束后，认真填写实验报告。 　　知识要点 1. 信源熵的概念及其性质。参照教材及参考书。 2. 二进熵公式： 注意：虽然理论上定义 0 · log0 = 0 ，但是，在实际运算时，对数函数 logx 的变量 x 不能取 0 值，而应设置一个系统默认的最小值 eps 。 三、实验总结 　　 1、绘制二进熵函数曲线，观察曲线形状。 　　 2、结合熵函数的性质，分析二进熵函数曲线的特点。 四、思考与提高 　　　1、绘制三元熵函数曲线，观察曲线形状。 　　　2、结合熵函数的性质，分析三元熵函数曲线的特点。 实验二 一般信道容量迭代算法 一、实验目的 　　　1、熟悉 Matlab 工作环境及工具箱； 　　　2、掌握一般信道容量迭代算法的原理。 二、实验内容 　　 实验内容与要求 　　 内容：用 Matlab 软件编程实现一般信道容量迭代算法。 　　　要求： 　　　1、提前预习实验，认真阅读相应的参考书，熟悉实验原理； 　　　2、遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理； 　　　3、独立完成实验，认真做好实验记录； 　　　4、实验结束后，认真填写实验报告。 　　　知识要点:： 　　　1、一般信道容量迭代算法的原理。参照教材及参考书。 2、程序流程图如下： 其中： ?????（1） ?????（2） 实验提示： 　　1、设定不同的信道（对称信道、非对称信道），计算最佳输入分布，分析计算结果的异同。 　 2、设定不同的迭代精度，分析其对计算结果的影响。 三、实验总结 　　1、信道的性质与最佳输入分布的关系。 　　2、迭代精度对计算结果的影响。 四、思考与提高 　　1、编制一般信道容量迭代算法的通用程序，适应不同的信道特性。 　　2、优化程序，提高运算速度。 实验三 二进制霍夫曼编码 一、实验目的 　　1、熟悉 Matlab 工作环境及工具箱； 2、掌握霍夫曼编码的基本步骤； 3、利用MATLAB实现霍夫曼编码。 二、实验内容 　　实验内容与要求 　　内容：用 Matlab 软件编程实现二进制霍夫曼编码。 　　要求： 　　1、提前预习实验，认真阅读相应的参考书，熟悉实验原理； 　　2、遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理； 　　3、独立完成实验，认真做好实验记录； 　　4、实验结束后，认真填写实验报告。 　　知识要点： 　　1、霍夫曼编码的基本原理。参照教材及参考书。 　　2、二进制霍夫曼编码方法。 基本原理： 变长编码 不要求所有码字长度相同，对不同概率的信源符号或序列，可赋予不同长度的码字。 变长编码力求平均码长最小，此时编码效率最高，信源的冗余得到最大程度的压缩。 1）几种常用变长编码方法： 霍夫曼编码 费若编码 香农编码。 2）霍夫曼编码： 二进制霍夫曼编码 r进制霍夫曼编码 符号序列的霍夫曼编码。 3）二进制霍夫曼编码的编码过程： 将信源中n个符号按概率分布的大小，以递减次序排列起来； 用0和1码分别分配给概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个新符号，并用这两个最小概率之和作为新符号的概率，从而得到只包含n-1个符号的新信源，称为其缩减信源； 把缩减信源的符号仍按概率大小以递减次序排列，再将最后两个概率最小的符号合并成一个新符号，并分别用0和1码表示，这样又形成一个新缩减信源； 依次继续下去，直到缩减信源最后只剩两个符号为止。再将最后两个新符号分别用0和1 码符号表示。最后这两个符号的概率之和为1，然后从最后一级缩减信源开始，依编码路径右后向前返回，就得到各信源符号所对应得码符号序列，即对应得码字。 r进制霍夫曼编码 由二进制霍夫曼编码可推广到r进制霍夫曼编码，只是每次求缩减信源时，改求r个最小概率之和，即将r个概率最小符号缩减为一个新符号，直到概率之和为1。但要注意，即缩减过程中可能到最后没有r个符号。为达次目的，可给信源添加几个概率为零的符号。 符号序列的霍夫曼编码 对信源编码除了对