信息论与编码(清华出版社)第5章信源编码-Qtech.pptVIP

* 5.4 常用信源编码方法简介 如下多元序列 x1，x2，…，xm1，y，y，…，y，xm1+1，xm1+2，…x m2，y，y，… X为信息位，取值于m元符号集；y为冗余位，可全为0，无需传送在接收端也可恢复。 此多元序列可以用下面序列表示： 111，…，100，…，000111，…，111000 x1，x2，…，xm1，x m1+1，x m1+2…x m2，… 1表示信息位，0表示冗余位 * 5.4 常用信源编码方法简介 算术编码 非分组码的编码方法之一——算术码 * 算术编码研究的目的和意义 各种媒体信息（图像，动态视频等）数据量非常之大。 例如：一幅640x480分辨率的24位真彩色图像的数据量约力900kb；一个100Mb的硬盘只能存储约l00幅静止图像画面。 数据量不仅超出了计算机的存储和处理能力，更是当前通信信道的传输速率所不及的。 为了存储、处理和传输多媒体数据，必须进行压缩。 语音的数据量较小，且基本压缩方法己经成熟； 目前的数据压缩研究主要集中于图像和视频信号的压缩方面。 图像压缩技术、视频技术与网络技术相结合的应用前景十分可观。 研究算术编码以更好的利用它是非常必要的。 算术编码作为一种高效的数据编码方法在文本，图像，音频等压缩中有广泛的应用。 * 算术编码研究的目的和意义 根据解码后数据与原始数据是否完全一致进行分类，数据压缩方法一般分为两类： ①无损压缩，即解码图像与原始图像严格相同，压缩比大约在2：1－5：1之间，如霍夫曼编码，算术编码等； ②有损编码，即还原图像与原始图像存在一定的误差，但视觉效果一般可以接受，压缩比可以从几倍到上百倍，如：PCM编码，预测编码、变换编码等。 算术编码作为一种高效的数据编码方法在文本，图像，音频：等压缩中有广泛的应用。它是一种到目前为止编码效率最高的统计熵编码方法,它比著名的Huffman编码效率提高10％左右。 * 算术编码的原理 根据信源可能发现的不同符号序列的概率，把[0，1]区间划分为互不重叠的子区间，子区间的宽度恰好是各符号序列的概率； 信源发出的不同符号序列将与各子区间一一对应； 每个子区间内的任意一个实数都可以用来表示对应的符号序列，这个数就是该符号序列所对应的码字。 * 5.4 常用信源编码方法简介 把区间[0，1)分割成许多小区间，每个小区间的长度等于各序列的概率pr， 小区间内的任一点可用来代表这序列; 0(P1) P2 P3 P4 P5 …… 1 …… p1 p2 p3 p4 * 5.4 常用信源编码方法简介 0(P1) P2 P3 P4 P5 …… 1 …… p1 p2 p3 p4 代表大于或等于的最小整数。 把累积概率P(S)写成二进位的小数，取其前L位;如果有尾数，就进位到第L位，这样得到一个数C； * 5.4 常用信源编码方法简介 例如 P(S)＝0p(S)=1/17，则L＝5（？）， 得C＝0.10111 这个C就可作为S的码字 编码效率很高，当序列很长时，可达到概率匹配。平均代码长度接近S的熵值。可以唯一地译码 * 5.4 常用信源编码方法简介 采用累积概率P(S)表示码字C(S)，符号概率p(S)表示状态区间A(S) S：符号序列；pr:某一区间的概率； 0(P1) P2 P3 P4 P5 …… 1 …… p1 p2 p3 p4 * 5.4 常用信源编码方法简介 符号 符号概率pi 符号累积概率Pj a 0.100(1/2) 0.000 b 0.010(1/4) 0.100 c 0.001(1/8) 0.110 d 0.001(1/8) 0.111 例 有四个符号a，b，c，d构成简单序列S＝abda，各符号及其对应概率如下表，算术编解码过程如下： * 5.4 常用信源