信息论与编码技术实验指导书.docVIP

信息论与编码技术 实 验 指 导 书 通信工程教研室 实验一：信息量及信道容量的计算 -、实验目的: 通过该实验，学握通过计算机实验信息量和信道容量的计算方法 二、 实验要求: 对一个离散的无记忆信源，给定信源的输入概率分布，给定一个信道 特性，计算各种信息量和爛，并计算信道容量。 三、 实验原理： ■设输入XW ｛无］,无2，???,冷???,心｝ 信道的一般数学模型如下图:输出丫丘｛儿』2,…莎｝ 信道的一般数学模型如下图: x ? p 呐） r i=l,2,???,// 冃 信道矩阵 旳 ?… 儿 P（?2/Xl）… P（儿/西）］ 尢2 ? ■ P?/兀2） ? ■ 心/尤2）… ? ? P（儿/兀2） ■ ■ ■ ￡ ? _卩（必/百） ? 〃（％/￡）… ■ 卩仇/￡）」 衣给定信源概率分布条件卜, ~X? 4， ①，…， aq _PW_ P（aJ,P（Q2）,…,P（4/）. 各种炳的求解方法如下: 1）信源嫡 W（X） = ￡[/（%,）] = E[log W（X） = ￡[/（%,）] = E[log2 P（x） -工 P（xJ10g2“（4） /=! ）条件嫡 H（Y/X） = E［I（儿 /兀）］=一工工/心儿）10创 /Xvy /x,） H（X / Y）=日/（形 / 儿?）］=工工 p（xt.yj）I（再 / yj） J=l i=l 加 〃 =-工工儿）log? P（xjy） ）联合炳 八 m 斤 加 H（XY）=工工/心儿（兀儿）=-工工pa.*）log2 pgj） ）交互爛 / （X; Y）是方扌X的平均互信息： m n m p（x / y ?） （1） /（ X ； Y）=》工 P（Xj yj）I（X.；儿）=工 X 】心儿）log2 — i=l j=l /=1 J=1 P\xi） /（丫;乂）是^对丫的平均互信息： /（X; Y）二工工°（兀儿（儿；兀）二工工/心儿）log2 /=1 ；=1 /=! ；=1 利用关系式/心/ V .）=匹山，可推出 ”（兀儿）p（xjp（y. ”（兀儿）p（xjp（y. Z（X；y）= ^^p（x,y.）log2 /=1 1 5）信道容量 ■一般离散信道容量对计算步骤总结如下: TOC \o 1-5 \h \z 加 加 ①由工0（儿/兀）0二工〃（儿/兀）log2〃（yj/兀），求Q； 1 八1 （,n \ （2）rhc = iog2 工2心，求c； I冃丿 由P（儿） = 2”：求卩（儿）； 山（儿）=X px）“（儿/兀）,求卩（兀）。 四、 实验设备：计算机c++ 五、 实验报告要求 1、画出程序设计的流程图, 2、 写出程序代码， 3、 写出在调试过程中出现的问题， 4、 对实验的结果进行分析。 实验二 香农编码 一实验目的、掌握通过计算机实现香农编码 二实验要求 对于给定的信源的概率分布，按照香农编码的方法进行计 算机实现. 三、实验原理 给定某个信源符号的概率分布，通过以下的步骤进行香农编 码 1、 信源符号按概率从大到小排列 2、 对信源符号求累加和，表达式：pi=pi.1+p(xi) 3、 求自信息量，确定码字长度。自信息量I(Xi)=?log(p(xJ)；码字长度取大于等于自信 息量的最小整数。 4、 将累加和用二进制农示，并取小数点后码字的长度的码。 四、实验设备计算机C++ 四、实验设备计算机 C++ 五实验报告 1、 画出程序设计的流程图, 2、 写出程序代码， 3、 写出在调试过程中出现的问题， 4、 对实验的结果进行分析。 实验二费诺编码 一实验目的:掌握通过计算机实现费诺编码 二实验要求: 对于给定的信源的概率分布，按照费诺编码的方法进行计算机实现. 三实验原理 费诺编码的步甥 费诺编码的步甥 A将概率按从大到小的顺序排列 B按编码进制数将概率分组，使每组概率和尽可能接近或相等。 C给每组分配一位码元 D将每一分纟R再按同样原则划分，重复b和c,直到概率不再可分为止 四实验设备计算机C++ 五实验报告 1、画出程序设计的流程图， 2、 写出程序代码， 3、 写出在调试过程中出现的问题， 4、 对实验的结果进行分析。 实验四哈夫曼编码 一实验目的:拿握通过计算机实现哈夫曼编码 二实验要求： 对于给定的信源的概率分布，按照哈夫曼编码的方法进行计算机实现. 三实验原理 哈夫曼编码的步骤: (1).把信源符号按概率大小顺序排列，并设法按逆次序分配码字的长度。 (2).在分配码字长度时，首先将出现概率最小的两个符号的概率和加合成一个概率 .把这个合成概率看成是一个新组合符号地概率，重复上述做法冑到最后只剩下两个符号 概率为止。 .完成以上概率顺序排列后，再反过来逐步向前进行编码，每一次有二个分支各赋予 一个二进制码，可以对概率大的赋为