实验一、离散信源的熵与离散信道的容量.docVIP

信息论与编码实验报告 信息学院 10电子A 班级 第 组 姓名 同组成员 实验名称 实验一、离散信源的熵与离散信道的容量 实验设备 （1）计算机 （2）所用软件：Matlab或C 实验目的 掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。 实验内容 （1）根据熵，信道容量计算的方法步骤，用Matlab编写离散信源熵、离散信道容量的计算程序； （2）用习题2.16和例3.6验证程序的正确性。 实 验 报 告 要 求 简要总结信源的熵、信道容量的物理意义，概念； 写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； 实现离散信源熵、离散信道容量计算的Matlab源程序； 讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。 5、实验报告在实验后一周内交给老师，报告单一律用16开大小的纸写，以此单为封面，装订成册。 完成时间：2012 年 12 月 22 日 1、简要总结信源的熵、信道容量的物理意义，概念。 信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。 信道容量 概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。 意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。从而指导人们改造信源，使之最大可能地利用信道的传输能力。 2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； 离散信源熵的计算步骤： 信道容量的计算步骤： 3、实现离散信源熵、离散信道容量计算的Matlab源程序； 实验程序： 1）计算信源熵： 新建M文件： function[h]=H(x) h=-log2(x)*x; 保存为H.m 之后在命令窗口输入H(x)； 2）计算信道容量（对称信道）： function[c]=C(p) a=0; s=length(p); for i=1:s,a=a+p(1,i)*log2(p(1,i)); end c=log2(s)+a; 保存为C.m 之后在命令窗口输入C(p) 习题2.16实验程序: clear all; %清除所有变量 Px=[0.7 0.3];P=0; %输入信源概率，Px=p(x) Hx=-Px*log2(Px) %计算信源的熵 H(X) Pyx=[0.9 0.2;0.1 0.8];px=[0.7 0.3;0.7 0.3]; %Pyx为条件概率p(y/x) Pxy=Pyx.*px; %计算联合概率p(xy) for i=1:2 hxx(i,1)=-Pxy(i,:)*log2(Pxy(i,:)); P=P+hxx(i,1); %计算H(X^2) end h2x=P/2 %计算H2(X) 习题3.6实验程序： clear all; %清除所有变量 a=0; p=[2/3 1/3;1/3 2/3]; %信道矩阵P for i=1:2,a=a+p(1,i)*log2(p(1,i));end C=log2(2)+a %计算对称离散信道的信道容量C for i=1:2,p1(i)=1/2;end p1 %最佳输入概率分布 4、讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。 信源的相关性是信源符号间的依赖程度的度量。由于信源输出符号间的依赖关系也就是 信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。 信道容量与信源先验概率及信道转移概率的关