信息熵-平互信息-信道容量2.docVIP

《信息论与编码》 实验1 绘制熵函数曲线 一、实验目的 熟悉工作环境及Matlab软件 掌握绘图函数的运用 理解熵函数表达式及其性质 二、实验原理 信息熵 自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。 熵的表示 注意的问题 熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r进制单位/符号。 特殊公式：某个pk=0时，0log0=0 ()在熵的定义中忽略零概率事件。 平均互信息 平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之 差，是互信息量的统计平均: 三、实验内容 1.用 Matlab 软件绘制二进熵函数曲线。 二元信源 二元信源的熵为 绘制当p从0到1之间变化时的二元信源的信息熵曲线. Matlab程序： p=0.00001:0.001:1; h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h); title(二进熵函数曲线); ylabel(H(p,1-p)) 2．绘制三元信源的熵 三元信源 三元信源的熵为 绘制当从0到1之间变化时的三元信源的信息熵曲线. [p1,p2]