信息熵平均互信息信道容量260442.docVIP

《信息论与编码》 实验1 绘制爛函数曲线 一、 实验目的 ?熟悉工作环境及Matlab软件 ?掌握绘图函数的运用 ?理解爛函数表达式及其性质 二、 实验原理 丄信息爛 自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符 号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的门信息量 进行统计平均，从而得到平均不确定性。 ＞爛的表示 H(X) = E[/(X)]=工 p(xjl (壬)=-工 p(xz)log p(xj ? ? I I ＞注意的问题 爛是自信息量的统计平均，因此单位与自信息量的单位相同，与爛公式中所 用对数的底有关：bit/符号、nat/符号、dit/符号、r进制单位/符号。 特殊公式：某个pk=O时，01og0=0(limxlogx = 0)在爛的定义屮忽略零概率 xtO 事件。 ＞平均互信息 平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性Z 差，是互信息量的统计平均： /(X ； Y)=工 (X; yj)=工 p(儿)卩(兀 / j ij P\^i) /（X;Y）= H（X）-H（ X/y） 1（Y\X）= H（Y）-H（Y IX） 三、实验内容 1 ?用Matlab软件绘制二进爛函数曲线。 ＞二元信源 （x\ 60 1 ） = 0＜P＜1 2丿?1-卩丿 ＞二元信源的爛为 H(p.l-p) = -plogp-(l-p) log(l - p) 绘制当p从0到1之间变化时的二元信源的信息爛曲线. Matlab 程序： p=0.00001:0.001:l; h=-p.*log2(p)-( 1 -p). *log2( 1 -p); plot(p,h); titlef二进爛函数曲线); ylabelCHCpJ-p)1) 2.绘制三元信源的爛 ＞三元信源 ＞三元信源 ＞三元信源的爛为 H （Pl，Pl，1 - P1 - P1）= -卩 log Pl - P2 log 卩2 -（1 - Pl - 卩2）log（l - P1 - 卩2） 绘制当1，从0到1之间变化时的三元信源的信息爛曲线. [pl ,p2]=meshgrid(0.00001:0.001:1); h=-p 1 .*log2(p 1 )-p2.*log2(p2)-( 1 -pl -p2) .*log2( I -pl -p2); meshc(pl，p2,h); title(三进爛函数曲线); 3.绘制平均互信息量图形 对于二元对称信道的输入概率空间为~X? 对于二元对称信道的输入概率空间为 ~X? 0,1 _PM_ co,co = \-co 平均互信息： 平均互信息： z（x；y）= H（r）-//（r/X） H( H(n-^P(x)^P(y/x)log X Y 1 P(y/x) H(r)-^P(x)[plog 丄+piog 丄] X P P = H(Y)-[p\og--^p\og^] = H(Y)-H(p) P P 根据：p(bj)=￡pa)p(bjg)=i Z=1 所以： 2 p(y = 0) = ￡ P(q)P(0 丨 q) = P(0)P(0 丨 0) + P(l)P(0 丨 1)=切 + cop J=1 p(y = [)= Y P(4)P(0 \ai) = P(O)P(1 丨 0) + P(1)P(111) = ?p + cop 1=1 /(X；Y) = H(X)-H (p) =(69/7+ log— +(69/? + 6p)log - [/?log —+ plog-^] cop + (dp {cop + (dp) p p =H(砂 + 引) — //(/” 绘制当69, 〃从0到i之间变化时的平均互信息爛曲线. [w,p] = meshgrid(0.00001:0.001:1); h=-(w.*(l -p)+( 1 -w).*p).*log2(w.*(l -p)+(l-w).*p)-(w.*p+( 1 -w).*(l -p)).*log2(w.*p+( l-w).*(l-p))+(p*log2(p)+(l-p).*log2(l-p)) meshz(w,p,h) titleC互信息J; ylabel(H(w,p,h)) 四、实验报告要求 ?简述实验目的； ?简述实验原理； ?分别绘制二元信源和三元信源的爛及平均互信息量图形。 通过图形分析他们的特点。 实验2 信道容量仿真 一、 实验目的 ?熟悉工作环境及Matlab软件； ?理解信道容量的含义。 二、 实验原理 ＞离散信道的数学模型 离散信道的数学模型一般如图6」所示。图小输入和输出信号用随机矢量表示，输入信 号为X= (XI, X2,..., XN),输出信号为Y= (Yl, Y2,..., YN)；每个随机变量Xi和Yi又分别取 值于符号集A二