信息论试验指导书.doc

信息理论与编码实验指导书 电子与电气工程学院 罗晓琴 编 实验要求 1、实验前认真阅读实验指导书的内容，并完成预习任务。 2、复习Matlab的相关知识，完成仿真。 3、要熟悉本次实验的任务。 4、实验过程中要认真记录实验结果，仿真结果需经指导教师审阅。 5、实验后每位同学要独立完成实验报告的内容。 目录 实验一 离散信源的自信息量和熵…………………………………………………3 实验二 最大离散熵定理……………………………………………………………6 实验三 费诺编码……………………………………………………………………9 实验四 霍夫曼编码…………………………………………………………………13 实验五 香农编码……………………………………………………………………16 实验一：计算离散信源的自信息量和熵 一、实验目的 1、熟悉离散信源的特点。 2、学习Matlab仿真离散信源的方法。 3、学习离散信源自信息量和信源熵的计算方法。 4、熟悉 Matlab 编程。 二、实验设备 1、计算机 2、软件：Matlab 三、实验原理 本实验主要完成信源概率分布的自信息量以及信源熵的计算。 计算公式如下： 一个字符它所携带的信息量是和该字符出现的概率有关，概率可以表征自信息量的大小自信息的计算公式为： 1gI(a)?lo 2pa 自信息量有两个含义： 第一、当事件发生前，表示该事件发生的不确定性； 第二、当事件发生后，标是该事件所提供的信息量． 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特。 在通信系统中，通常取比特为单位，底数2略去不写。 由于自信息I(a)是一个随机变量，不能用来表征整个信源的不确定度。所以我们用平均自信息量来表征整个信源的不确定度。平均自信息量就是信源输出所有消息的自信息的数学期望，又称为信息熵、信源熵，简称熵。 熵（平均自信息）的计算公式为： qq1??pplogp??H(x)?log i2i2ip1??1iii信息熵H（x）是对信源的平均不确定性的描述。它从平均意义上来表征信源的总体信息测度。对于某特定的信源，其信息熵是一个确定的数值。 信息熵具有如下三种物理意义。 第一，信息熵H（x）是表示信源输出后，每个消息或符号所提供的平均信息量。 第二，信息熵H（x）是表示信源输出前，信源的平均不确定性。 第三，信息熵H（x）可表征变量X的随机性。 由此可以看出，自信息量与信息熵的含义是不同的： （1）信息熵是表征信源本身统计特性的一个物理量，它表示信源的平均不确定性，是信源输出的每一个消息所能提供的平均信息量；自信息量表示的是 每一个消息的信息量度。． （2）信息熵是针对信源的，是信源输出的信息量，表示信源输出前的平均不确定性；自信息量是针对信宿的，是接收者在消除了信源不确定性后所获得的信息的度量。 （3）若信道无干扰，接收者获得的信息量在数量上等于信源的熵，若有干扰时，则两者不相等。 四、实验内容 1、已知信源概率分布为：p=[1/2,1/4,1/8,1/8],编写出计算自信息量的Matlab 程序。 程序： [I] = deal(p)function n=4; i =1: nfor I(i)=-log2(p(i)) ; end打开空白的M文件编辑器，将上述程序输入。保存。通过M文件调用的形式完成仿真。 步骤：在command window中输入p=[1/2,1/4,1/8,1/8]→调用deal.M文件→输入[I]=deal([1/2,1/4,1/8,1/8])，仿真实现。 2、写出信源概率分布为：p=[1/2,1/4,1/8,1/8]离散信源熵的Matlab 程序。 程序： [H] = deal(p)function n =4; H =0; i =1: nfor I(i)=-log2(p(i)) ; H = H + p(i)*I(i); end打开空白的M文件编辑器，将上述程序输入。保存。通过M文件调用的形式完成仿真。 步骤：在command window中输入p=[1/2,1/4,1/8,1/8]→调用deal.M文件→输入[H]=deal([1/2,1/4,1/8,1/8])，仿真实现