信息与编码实验教案.doc

信息与编码实验教案 数学与计算科学学院 信息教研室 2009年10月10日 信息编码理论是信息计算科学专业的一门重要的专业基础课，对于提高学生的信息科学基础知识具有重要的作用。信息编码实验，是为了提高学生的应用技能，融汇计算机编程能力培养与信息编码基础理论的一个重要环节。 实验包括四个：。 信源熵的计算 香农编码 循环码 有限域上插值多项式的构造 信息编码实验要求用C语言完成。 实验一、信源熵的计算 实验背景： 根据信源熵的性质，英语的信源熵的最大值为(比特/符号)，但事实上，由于在英语中的字母并非等概出现(表1)，实际的离散信源熵大概为(比特/符号），有些字母之间还有较强的依赖关系，为了进一步逼近实际情况，可对英语信源进行2维、三维等形式的统计，求得实际的熵，其中（比特/符号），（比特/符号）。容易推知，有依赖关系的字母数越多，输出的序列越接近于实际情况，当依赖关系延伸到无穷远时，信源输出的就是真正的英语。此时可求出马尔可夫信源的极限熵（比特/符号）。 表1 27个英语符号出现的概率 符号 概率 符号 概率 符号 概率 空S ? 0.052 Y,W ?0.012 E ?0.105 H ? 0.047 G ? 0.011 T ? 0.072 D ? 0.035 B ?0.0105 O ?0.0654 L ?