离散信源的熵信道容量实验报告.docVIP

计算离散信源熵、离散信道容量 实验任务和目的 实验任务： （1）简要总结信源的熵、信道容量的物理意义，概念； （2）写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； （3）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。 实验目的： 掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。 实验过程和结果 实验过程 1、简要总结信源的熵、信道容量的物理意义，概念。 信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。 信道容量 概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。 意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。从而指导人们改造信源，使之最大可能地利用信道的传输能力。 2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； 离散信源熵的计算步骤： 信道容量的计算步骤： 3、（1）讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。 信源的相关性是信源符号间的依赖程度的度量。由于信源输出符号间的依赖关系也就是 信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。 （2）信道容量与信源先验概率及信道转移概率的关系。 信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。 实验结果 计算离散信源熵： 计算离散信道容量： 实验总结和心得 通过本次的试验，让我加深了对信息论与编码这门课知识点的认识，学会了怎么样去计算信源熵以及信道容量，怎样去把它具体实现出来。在此次实验过程中，让我认识到了做实验之前预习是很重要的，通过查找资料可以解决一些我们不能解决的问题的方法。还有就是不懂的问题及时问老师，能解决的问题随堂解决。 附录（代码） 计算信道容量： clc;clear?all;? N?=?input(输入信源符号X的个数N=);? ?M?=?input(输出信源符号Y的个数M=);?? p_yx=zeros(N,M);???%程序设计需要信道矩阵初始化为零? fprintf(输入信道矩阵概率\n)? for?i=1:N ?for?j=1:M? ?p_yx(i,j)=input(p_yx=);%输入信道矩阵概率?????? if?p_yx(i)0? ?error(不符合概率分布)?????? end?????? end? end? for?i=1:N???%各行概率累加求和????? ?s(i)=0;????? ?for?j=1:M? s(i)=s(i)+p_yx(i,j);????? ?end? end? for?i=1:N?????%判断是否符合概率分布 ?if?(s(i)=0.999999||s(i)=1.000001)??? ?error(不符合概率分布)? end ?end? b=input(输入迭代精度：);%输入迭代精度?for?i=1:N? ?p(i)=1.0/N;???%取初始概率为均匀分布 ?end? for?j=1:M???%计算q(j)?????? q(j)=0;???? for?i=1:N? q(j)=q(j)+p(i)*p_yx(i,j);??? ?end? end????????? for?i=1:N?????%计算a(i)??????d(i)=0;? ?for?j=1:M? if(p_yx(i,j)==0)????????????d(i)=d(i)+0;??????????else? ?d(i)=d(i)+p_yx(i,j)*log(p_yx(i,j)/q(j));??????? ?end???? end? ?a(i)=exp(d(i));?end?u=0;? for?i=1:N???%计算u?????? u=u+p(i)*a(i);?end? IL=log2(u);?%计算IL? IU=log2(max(a));%计算IU?n