信息论算术编码.ppt

第五章 信源编码 算术编码 信源编码 无失真信源编码 限失真信源编码(常用) 变长编码定理 — 最佳变长编码 定长编码定理 游程编码 算术编码 预测编码 变换编码 矢量量化 哈夫曼编码方法 费诺编码方法 香农编码方法 算术编码简介 是非分组码的编码方法之一。它是从全序列出发，考虑符号间的依赖关系，即考虑符号间的相关性。 经香农—费诺—哈夫曼编码推广而来的，直接对信号源符号序列进行编码输出。 即时码，信源符号序列对应的累计概率区间是不重叠的。肯定也可以唯一译码。 算术编码 编码的基本思路：从全序列出发，将各信源序列的概率影射到 [0，1]区间上，使每个序列对应这区间内的一点，也就是一个二进制的小数。这些点把 [0，1]区间分成许多小段，每段的长度等于某一序列的概率。再在段内取一个二进制小数，其长度可与该序列的概率匹配，达到高效率编码的目的。 算术编码 如果信源符号集为A={ a1，a2，……an }，已知的信源符号概率P=[ p(a1)，p(a2)，……p(an) ]=( p1，p2，……，pr，……，pn)，定义各符号的积累概率为： 由上式可得P1=0，P2=p1，P3=p1+p2，……且 pr=Pr+1—Pr 算术编码 由于Pr+1和Pr都是小于1的正数，可用[0,1]区间内的两个点来表示，则pr就是这两点间的小区间的长度，如图所示： 0(P1) P2 P3 P4 P5 …… 1 …… p1 p2 p3 p4 算术编码 有一序列S=011, P(S)=p(000)+p(001)+p(010)， P(S，0)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101) =p(000)+P(001)+P(010)=P(S) P(S，1)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101)+p(0110) =P(S)+p(0110)=P(S)+p(S)p0 算术编码 由于单符号的累积概率为P0=0，P1=p0，所以上面两式可统一写作： P(S，r)=P(S)+p(S)Pr， r=0，1 推广到多元序列(m2)，即可得一般递推公式： P(S，ar)=P(S)+p(S)Pr， 以及序列概率公式： p(S，ar)=p(S)pr 算术编码 码字的取得： 1. 码字的长度： 代表大于或等于的最小整数。 2. 把积累概率P(S)写成二进位的小数，取其前L位;如果有尾数，就进位到第L 位，这样得到一个数C 。 算术编码 实际应用中，采用累积概率P(S)表示码字C(S)，符号概率p(S)表示状态区间A(S)，则有： 算术编码 例5—10 有四个符号a，b，c，d构成简单序列S＝abda，各符号及其对应概率如下表，算术编解码过程如下： 符号 符号概率pi 符号累积概率Pj a 0.100 (1/2) 0.000 b 0.010 (1/4) 0.100 c 0.001 (1/8) 0.110 d 0.001 (1/8) 0.111 算术编码 设起始状态为空序列?，则A(?)＝1，C(?)＝0。递推得： 算术编码 因此，C(a,b,d,a)即为编码后的码字010111 。 算术编码 算术编码过程：（单位区间的划分表示） a b c d A(a,b,d) 0(Pa) pa Pb pb