中南大学信息论实验报告.docVIP

中南大学 信息论与编码课实验报告 专业班级: 指导老师：张祖平 姓 名: 学 号: 实验一 关于信源熵的实验 一、实验目的 掌握离散信源熵的原理和计算方法。 熟悉matlab软件的基本操作，练习使用matlab求解信源的信息熵。 自学图像熵的相关概念，并应用所学知识，使用matlab或其他开发工具求解图像熵。 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。 二、实验原理 离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 随机事件的自信息量I（xi）为其对应的随机变量xi出现概率对数的负值。即： I（xi）= -log2 p(xi) 随机事件X的平均不确定度（信源熵）H（X）为离散随机变量xi出现概率的数学期望，即： 信源的信息熵 设信源符号集X={a1，a2，…，ar}，每个符号发生的概率分别为p(a1)=p1，p(a2)=p2，…，p(ar)，即信源的概率空间为 ， 则该信源的信源熵为： H(X) = - p(a1) log p(a1) –p(a2) log p(a2) –…–p(ar) log p(ar) 信道的数学模型与相关熵的计算 单符号离散无噪声无损信道的信道容量 MATLAB二维绘图 用matlab中的命令plot(x, y)就可以自动绘制出二维图来。 例1-2，在matlab上绘制余弦曲线图，y = cos x，其中0 ≤ x ≤ 2(。 x=0:0.1:2*pi； %生成横坐标向量，使其为0，0.1，0.2，…，6.2 y=cos(x)； %计算余弦向量 plot(x,y) %绘制图形 MATLAB求解离散信源熵 求解信息熵过程： 1) 输入一个离散信源，并检查该信源是否是完备集。 2) 根据H(X)公式，求出离散信源的熵。 图像熵的相关知识 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为： 图像熵计算过程： 1) 输入一幅图像，并将其转换成灰度图像。 2) 统计出图像中每个灰度阶象素概率。 3) 计算出一幅图像的一维熵。 Excel的绘图功能 比如：用Excel或制作二元熵函数曲线。具体步骤如下： 1）启动Excel应用程序。 2）准备一组数据p。在Excel的一个工作表的A列（或其它列）输入一组p，取步长为0.01，从0至100产生101个p（利用Excel填充功能）。 3）使用Excel的计算功能，在B列中用二元熵函数计算公式，求得A列中各数值对应的二元熵值。比如：在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)。 4）使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，绘制二元熵函数散点图。 三、实验内容 1、使用matlab软件绘制信源熵函数曲线。 输入不少于6个符号的信源及其概率(可以界面交互式输入,也可以以数据文件直接输入)；判断是否符合完备概率空间，如否则提示重新输入，如是则计算每个符号的自信量与信源熵（可以直接在界面上显示，也可以存储为一个数据文件）；将自信量用线连接，信源熵表示一条直线，即最终图上将显示2条线，分别用不同的颜色与标签标识其自信量或信源熵。 代码： a=input(请输入一组离散的符号：) p=input(请输入对应的概率：) La=length(a); Lp=length(p); if Lp~=La disp(输入的概率个数与符号数不相同,请重新输入); H1; else sum=0; for n=1:1:Lp sum=p(n)+sum; end if sum~=1 disp(输入的概率总和不为1,请重新输入); H1; else H=0; for n=1:1:La A(n)=-log2(p(n)); H=H-p(n)*log2(p(n)); end end n=1:1:La; HX=H; H=H+n-n; plot(n,H,r,n,A) legend(信源熵,符号自信量); disp(该离散信息源每个符号的自信量分别为) a A disp(该离散信息源的熵为) HX End 输入的符号为[1 2 3 4 5 6] 对应的概率为[0.1 0.1 0.1 0.2 0.3 0