信息论与编码实验报告.docx

《信息论与编码》实验报告 实验序号：01　　　　　　　　　 实验项目名称：离散信源及其信息测度 学　　号姓　　名专业、班级实验地点计202指导教师时 间2016/9/28一、实验内容: 例2.1假设一条电线上串联了8个灯泡x1,x2,x3,x4,x5,x6,x7,x8.这8个灯泡损坏的可能性是等概率的，现假设这8个灯泡中有一个也只有一个灯泡已损坏，致使串联灯泡都不能点亮。 MATLAB程序如下： clear all p1=1/8 %测量前的概率 p2=1/4 p3=1/2 I1=log2(1/p1) %第一次测量前的不确定性 I2=log2(1/p2) %第二次测量前的不确定性 I3=log2(1/p3) %第三次测量前的不确定性 I4=I1-I2 %每一次测量获得的信息量 I5=I2-I3 I6=I3 程序结果为： p1 = 0.1250 p2 =0.2500 p3 =0.5000 I1 =3 I2 =2 I3 =1 I4 =1 I5 =1 I6 =1 例2.4 设某甲地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。又设某乙地的天气预报为：晴（占7/8），小雨（占1/8）。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0.另一种是晴、阴、小雨、大雨、出现的概率都相等，为1/4.试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。 MATLAB程序如下： clear all p(1)=4/8; %甲地晴的概率 p(2)=2/8; %甲地阴的概率 p(3)=1/8; %甲地大雨的概率 p(4)=1/8; %甲地小雨的概率 p(5)=7/8; %乙地晴的概率 p(6)=1/8; %乙地小雨的概率 p(7)=1; %第一种极端晴的概率 p(8)=1/4; %第二种极端晴、阴、小雨、大雨的概率 H1=0;H2=0; for i=1:4 %甲地信息熵 H1=H1-p(i)*log2(p(i)); i=i+1; end for i=5:6 %乙地信息熵 H2=H2-p(i)*log2(p(i)); i=i+1; end H1 %甲地信息熵 H2 %乙地信息熵 H3=-p(7)*log2(p(7)) %甲地第一种两极端情况的信息熵 H4=-4*p(8)*log2(p(8)) %甲地第二种两极端情况的信息熵 H5=-p(7)*log2(p(7)) %乙地第一种两极端情况的信息熵 H6=-2*p(8)*log2(p(8)) %乙地第二种两极端情况的信息熵 程序结果为： H1 =1.7500 H2 =0.5436 H3 =0 H4 =2 H5 =0 H6 =1 3.证明信息熵的上凸性。 熵函数H（P）是概率矢量P=( ,,…,)的严格∩型凸函数（或称上凸函数）。即对任意概率矢量P=（,,…,）和Q=（），及任意0a1有 H[aP+(1-a)Q]≥aH(p)+(1-a)H(Q) 证明： 因为0≤pi≤1，0≤qi≤1，Σpi=1, Σqi=1，0≤a≤1 所以 设且 即得证。 正因为熵函数具有上凸性，所以熵函数具有极值，熵函数的极大值存在。 例二元信源，该信源符号只有两个，设为0和1，符号输出的概率分别为p和1-p，则二元信源的熵为：H(x)=-[plog(p)+(1-p)log(1-p)] Matlab画图命令为： syms p; H=sym(-[p*log2(p)+(1-p)*log2(1-p)]); ezplot(H,[0,1]) grid on 当等概率即p=1-p=0.5时熵函数取极大值。六、评语 成绩（100分制） 《信息论与编码》实验报告 实验序号：02　　　　　 实验项目名称：离散信道及其信道容量 学　　号姓　　名专业、班实验地点计算机楼202指导教师时 间2016年11月7日实验目的及要求 讨论离散信道的统计特性和数学模型； 掌握离散信道及其信道容量 实验内容与步骤 实验内容一：写程序判定一个信道矩阵是否为对称离散信道。 程序： P=input(输入信道转移概率矩阵：); [r,c]=size(P); if sum(P,2)-1~=zeros