第五章 信息熵-平均互信息-信道容量2.doc

《信息论与编码》 实验1 绘制熵函数曲线 一、实验目的 熟悉工作环境及Matlab软件 掌握绘图函数的运用 理解熵函数表达式及其性质 二、实验原理 信息熵 自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。 熵的表示 注意的问题 熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r进制单位/符号。 特殊公式：某个pk=0时，0log0=0 ()在熵的定义中忽略零概率事件。 平均互信息 平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之 差，是互信息量的统计平均: 三、实验内容 1.用 Matlab 软件绘制二进熵函数曲线。 二元信源 二元信源的熵为 绘制当p从0到1之间变化时的二元信源的信息熵曲线. Matlab程序： p=0.00001:0.001:1; h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h); title(二进熵函数曲线); ylabel(H(p,1-p)) 2．绘制三元信源的熵 三元信源 三元信源的熵为 绘制当从0到1之间变化时的三元信源的信息熵曲线. [p1,p2]=meshgrid(0.00001:0.001:1); h=-p1.*log2(p1)-p2.*log2(p2)-(1-p1-p2) .*log2(1-p1-p2); meshc(p1,p2,h); title(三进熵函数曲线); 3．绘制平均互信息量图形 对于二元对称信道的输入概率空间为 平均互信息： 根据： 所以： 绘制当从0到1之间变化时的平均互信息熵曲线. [w,p] = meshgrid(0.00001:0.001:1); h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log2(w.*p+(1-w).*(1-p))+(p.*log2(p)+(1-p).*log2(1-p)) meshz(w,p,h) title(互信息); ylabel(H(w,p,h)) 四、实验报告要求 简述实验目的； 简述实验原理； 分别绘制二元信源和三元信源的熵及平均互信息量图形。 通过图形分析他们的特点。  实验2 信道容量仿真 一、实验目的 熟悉工作环境及Matlab软件； 理解信道容量的含义。 二、实验原理 离散信道的数学模型 离散信道的数学模型一般如图所示。图中输入和输出信号用随机矢量表示输入信号X= (X1, X2,…, XN)，输出信号Y= (Y1, Y2,…, YN)；每个随机变量i和Yi又分别取值于符号集A={a1, a2, …, ar}和B=b1, b2, …, bs}，其中r不一定等于s条件概率P(y|x) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。 离散信道模型 二元对称信道 这是很重要的一种特殊信道简记为BSC。它的输入符号X取值于{0,1}输出符号Y取值于{0,1}r=s=2， a1=b1=0，a2=b2=1，传递概率, , 其中，表示信道输入符号为0而接收到的符号为1的概率，表示信道输入符号为1而接受到的符号为的概率它们都是单个符号传输发生错误的概率，通常用p表示。而和是无错误传输的概率，通常用表示。 X 1-p Y 二元对称信道用矩阵来表示，得二元对称信道的传递矩阵为 一般离散单符号信道传递概率可用矩阵表示，即 b1 b2 … bs 并满足式 （）为了表述简便，，信道的传递矩阵为 而且满足 平均互信息 平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X的信息量也输入与输出两个随机变量之间的统计约束程度。