信息论大作业2重点分析.doc

信息论大作业 一、实验目的 1、通过实验进一步理解霍夫曼编码、算术编码和LZ编码原理和方法 2、熟悉matlab编程和GUI界面的设计 二、实验原理 1、赫夫曼（Huffman）编码是1952年提出的，是一种比较经典的信息无损熵编码，该编码依据变长最佳编码定理，应用Huffman算法而产生。Huffman编码是一种基于统计的无损编码。 设信源X的信源空间为： 其中，，现用二进制对信源X中的每一个符号(i=1,2,…N)进行编码。 根据变长最佳编码定理，Huffman编码步骤如下： （1）将信源符号xi按其出现的概率，由大到小顺序排列。 （2）将两个最小的概率的信源符号进行组合相加，并重复这一步骤，始终将较大的概率分支放在上部，直到只剩下一个信源符号且概率达到1.0为止； （3）对每对组合的上边一个指定为1，下边一个指定为0（或相反：对上边一个指定为0，下边一个指定为1）； （4）画出由每个信源符号到概率1.0处的路径，记下沿路径的1和0； （5）对于每个信源符号都写出1、0序列，则从右到左就得到非等长的Huffman码。 Huffman编码的特点是： （1）Huffman编码构造程序是明确的，但编出的码不是唯一的，其原因之一是两个概率分配码字“0”和“1”是任意选择的（大概率为“0”，小概率为“1”，或者反之）。第二原因是在排序过程中两个概率相等，谁前谁后也是随机的。这样编出的码