【2017年整理】信息论 实验.docVIP

Huffman编码的实现 平均码长： 编码效率： 讨论： 为什么哈夫曼编码方法得到的码并非是唯一的？ 什么是最佳码？ 算术编码原理 实验要求： 了解算术编码原理。 编写算术编码程序，并且验证编码结果。 实验理论 算术编码的步骤如下： 把信源输出序列的概率和实数段[0，1]中的一个数ρ联系起来。 采用累积概率F(s)表示码字C(s)，符号概率p(s)表示状态区间A(s)，则有 C(sr) = C(s) + A(s ) F(r) A(sr) = A(s ) p(r) 通过关于信源符号序列的累积概率的计算，F(s)把区间[0,1]分割成许多小区间，不同的信源符号序列对应于不同的区间为[F(s), F(s)+ p(s)]。可取小区间内的一点来代表这序列。 代表大于等于的最小整数。 令 把累积概率F(s) 写成二进制的小数，取小数点后L位，以后如果有尾数，就进到第L位，这样得到一个数C。 例F(s) = 0p(s) 1/17，则L = 5， 得C = 0.10111，s的码字为10111 讨论： 算术编码的优点是什么？ 实际编码是用硬件或计算机软件实现,所以采用递推公式来进行编码。是否不论s有多长，都可以一直进行计算下去，直至序列结束？ 信道容量的计算 实验要求： 了解信道编码定理，了解信道容量的计算原理。 根据香农公式编写程序，计算带限波形信道的信道容量。 根据香农公式编写程序，画出带限波形信道参数和信道容量的关系曲线。 实验理论 一定存在某种编码方式满足 Pee-NE(R) 这正是有扰离散信道的信递编码定理。用文字叙述其内涵，就是： 只要传信率R小于信道容量c，总存在一种信道码(及解码器)，可以以所要求的任意小的差错概率实现可靠的通信。 后来Fano推导了一个Fano不等式，并利用它推出了信道编码逆定理；信道容量C是可靠通信系统传信率R的上边界，如果只R＞C，就不可能有任何一种编码能使差错概率任意小。 这两个定理常被写在一起统称为有扰或噪声情道的信道编码定理。 香农公式 C=W log (1+SNR) 讨论： 如何增大信道容量？ 信道容量可以无限增大么？ 纠错码的实现 实验要求： 了解纠错码原理。 构造(7,4)汉明码生成矩阵G、校验矩阵H。 根据(7,4)汉明码生成矩阵G编写程序，并采用矩阵H验证程序。 实验理论 编码 c = m G 译码 设发送码组 c = [c1 c2 …… cn] 接收码组 r = [r1 r2 …… rn] s = r HT s ≠ 0: 传输中一定有错误发生 s ＝ 0: 传输中无差错发生（或差错图案恰好为一个码字） 汉明码： 满足： 二进制时： （n，k）码的H：r×n r个码元所能组成的列矢量总数是 2r－l，（全零矢量除外）恰好和校验矩阵的列数 n = 2m－1相等。 只要排列所有列，通过列置换将矩阵H转换成系统形式，就可以进一步得到相应的生成矩阵G。 例：常见的一个汉明码是（7，4）汉明码，其系统码形式 讨论： 汉明码是否是属于线性分组编码方式？ 汉明码是完备码么？证明你的结论。