信息论与编码实验指导书重点分析.doc

《信息论与编码》实验指导书 信息与通信工程学院 信息工程系 2014年6月 目 录 实验一 绘制信源熵函数曲线 4 实验二 哈夫曼编解码 7 实验三 离散信道容量 13 实验一 绘制信源熵函数曲线 一、实验目的 掌握离散信源熵的原理和计算方法。 熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。 理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。 二、实验原理 离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 假定X是一个离散随机变量，即它的取值范围R={x1，x，x，… 单位为 比特/符号 或 比特/符号序列。 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。 必须注意一下几点： 某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。 信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。 熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即