《信息论基础》实验指导书（含实验程序）.docxVIP

《信息论基础》实验指导书

中北大学

信息与通信工程学院信息工程系

目录

实验一绘制信源熵函数曲线 3

实验二离散信道容量 6

实验三率失真函数计算的程序设计 8

实验四哈夫曼编码 19

实验一绘制信源熵函数曲线

1、实验目的

掌握离散信源熵的原理和计算方法。

熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。

理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。

2、实验原理

(1)离散信源相关的基本概念、原理和计算公式

产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。

假定X是一个离散随机变量，即它的取值范围R={x1,x2,x?,…}是有限或可数的。设第i个变量xi发生的概率为p=P{X=x;}。则：

定义一个随机事件的自信息量I(x;)为其对应的随机变量x;出现概率对数的负值。即：

I(x;)=-log?p(xi)

定义随机事件X的平均不确定度H(X)为离散随机变量x;出现概率的数学期望，即：

单位为比特/符号或比特/符号序列。

平均不确定度H(X)的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H(X)称为信源X的信源熵。

必须注意以下几点：

某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一

般写成H(X),X是指随机变量的整体(包括概率分布)。

信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。

熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等，但含义不同。

当某一符号x;的概率p(x;)为零时，p(x;)logp(x;)在熵公式中无意义，为此规定这时的p(x;)logp(x;)也为零。当信源X中只含有一个符号x时，必有p(x)=1,此时信源熵H(X)为零。

例1-1,设信源符号集X={0,1},每个符号发生的概率分别为p(O)=p,p(1)=q,p+q=1,即信源的概率空间为

则该二元信源的信源熵为：

H(X)=-plogp-qlogq=-plogp-(1-p)log(1-p)

即：H(p)=-plogp-(1-p)log(1-p)

其中0≤p≤1

P=0时，H(O)=0

P=1时，H(1)=0

(2)MATLAB二维绘图：

例对函数y=f(x)进行绘图，则用matlab中的命令plot(x,y)就可以自动绘制出二维图来。如果打开过图形窗口，则在最近打开的图形窗口上绘制此图；如果未

打开图形窗口，则开一个新的图形窗口绘图。

例1-2,在matlab上绘制余弦曲线图，y=cosx,其中0≤x≤2π。

x=0:0.1:2*pi;%生成横坐标向量，使其为0,0.1,0.2,.…,6.2

y=cos(x);%计算余弦向量

plot(x,y)%绘制图形

3、实验内容

用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。

p=0.01:0.001:1;

h=-p.*log2(p)-(1-p).*log2(1-p);

plot(p,h)

xlabel(p’)

ylabel(h(p)’)

title(‘二源信源函数曲线’)

4、实验要求

提前预习实验，认真阅读实验原理以及相应的参考书。

认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。

认真填写实验报告。

实验二离散信道容量

1、实验目的

掌握离散信道容量的计算。

理解离散信道容量的物理意义。

练习应用matlab软件进行二元对称离散信道容量的函数曲线的绘制，并从曲线上理解其物理意义。

2、实验原理

信道是传送信息的载体—信号所通过的通道。

信息是抽象的，而信道则是具体的。比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。

研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。

二元对称信道BSC(BinarySymmetricChannel)

二进