信息论与编码实验探究.docxVIP

《信息论与编码》实验报告实验序号：01　　　　　　　　　实验项目名称：离散信源及其信息测度学　　号姓　　名专业、班级实验地点计202指导教师时间2016/9/28一、实验内容:例2.1假设一条电线上串联了8个灯泡x1,x2,x3,x4,x5,x6,x7,x8.这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡中有一个也只有一个灯泡已损坏，致使串联灯泡都不能点亮。MATLAB程序如下：clear allp1=1/8 %测量前的概率p2=1/4p3=1/2I1=log2(1/p1) %第一次测量前的不确定性I2=log2(1/p2) %第二次测量前的不确定性I3=log2(1/p3) %第三次测量前的不确定性I4=I1-I2 %每一次测量获得的信息量I5=I2-I3I6=I3程序结果为：p1 = 0.1250p2 =0.2500p3 =0.5000I1 =3I2 =2I3 =1I4 =1I5 =1I6 =1例2.4设某甲地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。又设某乙地的天气预报为：晴（占7/8），小雨（占1/8）。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0.另一种是晴、阴、小雨、大雨、出现的概率都相等，为1/4.试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。MATLAB程序如下：clear allp(1)=4/8; %甲地晴的概率p(2)=2/8; %甲地阴的概率p(3)=1/8; %甲地大雨的概率p(4)=1/8; %甲地小雨的概率p(5)=7/8; %乙地晴的概率p(6)=1/8; %乙地小雨的概率p(7)=1; %第一种极端晴的概率p(8)=1/4; %第二种极端晴、阴、小雨、大雨的概率H1=0;H2=0;for i=1:4 %甲地信息熵 H1=H1-p(i)*log2(p(i)); i=i+1;endfor i=5:6 %乙地信息熵 H2=H2-p(i)*log2(p(i)); i=i+1;endH1 %甲地信息熵H2 %乙地信息熵H3=-p(7)*log2(p(7)) %甲地第一种两极端情况的信息熵H4=-4*p(8)*log2(p(8)) %甲地第二种两极端情况的信息熵H5=-p(7)*log2(p(7)) %乙地第一种两极端情况的信息熵H6=-2*p(8)*log2(p(8)) %乙地第二种两极端情况的信息熵程序结果为：H1 =1.7500H2 =0.5436H3 =0H4 =2H5 =0H6 =13.证明信息熵的上凸性。熵函数H（P）是概率矢量P=(,,…,)的严格∩型凸函数（或称上凸函数）。即对任意概率矢量P=（,,…,）和Q=（），及任意0a1有H[aP+(1-a)Q]≥aH(p)+(1-a)H(Q)证明：因为0≤pi≤1，0≤qi≤1，Σpi=1, Σqi=1，0≤a≤1所以设且即得证。正因为熵函数具有上凸性，所以熵函数具有极值，熵函数的极大值存在。例二元信源，该信源符号只有两个，设为0和1，符号输出的概率分别为p和1-p，则二元信源的熵为：H(x)=-[plog(p)+(1-p)log(1-p)]Matlab画图命令为：syms p;H=sym(-[p*log2(p)+(1-p)*log2(1-p)]);ezplot(H,[0,1])grid on当等概率即p=1-p=0.5时熵函数取极大值。六、评语成绩（100分制）《信息论与编码》实验报告实验序号：02　　　　　 实验项目名称：离散信道及其信道容量 学　　号姓　　名专业、班实验地点计算机楼202指导教师时 间2016年11月7日实验目的及要求讨论离散信道的统计特性和数学模型；掌握离散信道及其信道容量实验内容与步骤实验内容一：写程序判定一个信道矩阵是否为对称离散信道。程序：P=input(输入信道转移概率矩阵：); [r,c]=size(P); if sum(P,2)-1~=zeros(1,r); error(输入的信道矩阵不合法！);%矩阵行和一定要为1 endSum=0;for j=2:cfor i=1:r %i是行变量for k=1:r if P(k,j)==P(i,1) Sum=Sum+1; break; endendendend