信息论基础第九周.pptVIP

信息论基础 杜春娟 ducj@scnu.edu.cn QQTel第三章 数据压缩和信源编码  补充: r元哈夫曼码 如何构造r元的哈夫曼码(将二元哈夫曼码推广到r元)? 信源符号个数为:q q=(r-1)θ+r , 这里θ表示信源缩减的次数 r=2时, q必须满足q= θ+2, 若q不满足,则加0,使之满足. 补例:设有离散无记忆信源 符号集合为X=(0,1,2), 构造三进哈夫曼编码,并计算平均码长 香农-费诺码 将香农编码中的累加概率换成修正累加概率即可得到相应的香农-费诺-埃利斯编码： (1) 计算出各个信源符号的修正累加概率 (2) 按下式计算第i个消息的二元代码组的码长 (3) 将累加概率 (十进制小数)变换成二进制小数．根据码长 取小数点后 个二进制符号作为第i个消息的码字． 香农-费诺码 P59 例3.4.1 香农费诺码的编码过程（累加概率都能够转成有限的二进小数时） 例3.4.2 香农费诺码的编码过程（累加概率转成无限循环二进小数时） 算术码 算术码定义：用香农费诺码对N长信源序列进行编码，称为算术码。 算术码是一种非分组码，无需计算出所有n长信源序列的概率分布及码表，可以直接对输入的信源符号序列编码输出。这种方法是由香农-费诺-埃利斯编码直接扩展得到的。 算术码算法的中心思想是高效地计算n长信源符号序列x的分布概率p(x)和累积概率F(x)，然后用区间[F(x)-p(x), F(x)]中的一个值来作为x的码字。 假定信源是二进制的，并且分组的长度n已知。  计算所有n长信源符号序列的概率 建立一个字典序 定义5.14 两个n长信源符号序列x和y，定义x大于y，当第一个使得 的i有 。 即0.x1x2……xn 0.y1y2……yn 用二叉树表示 计算累加概率 译码 自适应算术码 P64 其他无失真信源编码方法 游程编码 是霍夫曼编码的一种改进和应用，主要用于黑白二值文件的传真数据压缩。 由于传真文件中连“0”和连“1”较多．这些连“0”或连“1”的字符串称为游程．对游程长度进行霍夫曼编码或其他的编码处理就可以达到压缩数据的目的。 右 图是一幅10×50黑白二值图像。  MH编码是一种实用的游程编码算法，应用于黑、白传真数据的压缩编码，根据不同的黑、白游程长度有两张结尾码表和两张组合码表．其基本的编码规范为 (1) 游程长度在0～63时，直接查表用相应的结尾码作为码字； (2) 游程长度在64～1728范围内时，用组合码加上结尾码作为相应的码字； (3) 每行的第一个游程规定为白游程(长度可以为零)，每行用一个结束码(EOL) 终止； (4) 在传输时，每页数据之前加一个结束码，每页尾部连续实用6个结束码。 LZW码 LZW码也称基于字典的编码方法，它是定长码。 (1) 基于字典编码的基本原理 计算机文件是以字节为单位组成的。LZW码是一种自适应变码，它的字典是直接由被压缩文件在编码过程中生成的。 (2) 字典的构成 字典的容量为4096(0～4095),序号用12bit表示．最后一个单词(第4095个单词)为空。 (3) 算法 ①字典初始化 ②动态数据初始化：初始化新单词存放位置指针P，将它指向字典的第一个空位置。 ③如果文件再没有字符了，输出当前单词W的序号。编码结束。如果文件中还有字符，把当前单词W作为前缀，再从被压缩文件中读入一个字符CH，把CH作为尾字符，得到一个单词 。 ④如果字典中已有 ，则将 看作当前单词W，返回③。如果字典中没有 (发现一个新单词)，先将原单词W的序号输出，再加新单词 ，增加到字典中，然后把刚刚读入的字符CH作为当前单词W，返回③。 (4) 适用文件类型 不适合小文件的压缩(因为压缩编码初期，由于字典中的单词很少，字典对压缩效果的贡献也很少，主要是进行字典的扩充)，也不适合太大的文件(因字典容量有限，文件太大时字典满了，效率将受到制约)．适合内容有明显单词结构的文件(如文本文件、程序文件)。 (5) 译码 ①字典初始化 ②动态数据初始化 ③如果压缩中已经没有码字，解码结束。否则继续读入一个码字。 ④如果读入的码字是无效码字FFF，则解码结束，否则下一步。 ⑤如果在字典中已经有该码字对应的单词，则采用递归算法，输出该单词