实验三_信源熵及信道容量特性.docVIP

实验三　信源熵及信道容量极值性研究 一、实验目的 验证信源熵及信道容量的极值特性，理解相关参数的变化对信源熵及信道容量的影响。 二、实验原理 二元信源的熵H（X）=[wlog2(1/w)+(1-w)log2(1/(1-w))]这时信息熵H(X)是w的函数，通常用H（w）表示，w取值[0,1]。 当固定某信道时，选择不同的信源（其概率分布不同）与信道连接，在信道输出端接收道每个符号获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源（某一种概率分布P(x)），使输出获得的平均信息量为最大。 当信源固定后，选择不同的信道传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。信道输出端获得关于信源的信息量是信道传递概率的U型凸函数。 三、程序 信源熵的程序： w=[0.000001:0.01:1]; H=w.*log2(1./w)+(1-w).*log2(1./(1-w)); plot(w,H); title(信源熵函数H(w)); xlabel(w); ylabel(H(w)); 固定二元对称信道的互信息和固定二元信源的互信息： w=[0:0.01:1]; p=0.2; h=-p.*log2(1./p)-(1-p).*log2(1./(1-p)); H=(w.*(1-p)+(1-w).*p).*log2(1./(w.*(1-p)+(1-w).*p))-(1-(w.*(1-p)+(1-w).*p)).*log2(1-(w.*(1-p)+(1-w).*p)); I=H+h; subplot(2,1,1); plot(w,I); title(固定二元对称信道的互信息); xlabel(w); ylabel(I(X;Y)); p=[0.000001:0.01:1]; w=0.2; h=-p.*log2(1./p)-(1-p).*log2(1./(1-p)); H=(w.*(1-p)+(1-w).*p).*log2(1./(w.*(1-p)+(1-w).*p))-(1-(w.*(1-p)+(1-w).*p)).*log2(1-(w.*(1-p)+(1-w).*p)); I=H+h; subplot(2,1,2); plot(p,I); title(固定二元信源的互信息); xlabel(p); ylabel(I(X;Y)); 四、实验结果 图1 图2 五、实验分析 由图1可知，如果二元信源的输出时确定的（~w=1-w=0或w=1），则该信源不提供任何信息。反之，当二元信源符号的0或1等概率发生时，信源的熵达到最大值，等于1比特信息量。这就分别验证了信息熵的确定性和极值性。 由图2的第一个图形可知，当信道固定即固定p时，可得I（X；Y）是w的 型凸函数，从图中可知，当二元对称信道的信道矩阵固定后，输入变量X的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入变量X是等概率分布，即P（x=0）=P（x=1）=1/2时，在信道接收端平均每个符号才获得最大的信息量。 由图2 的第二个图形可知，当二元信源固定后，存在一种二元对称信道（其P=1/2），使在信道输出端获得的信息量最小，即等于零。也就是说，信源的信息全部损失在信道中。这是一种最差的信道（其噪声为最大）。 六、要求 1．利用Matlab完成本实验。