第3章无失真信源编码方法2011.ppt

例4 已知信源 求信源序列S=abda的算术编码。 解：信源符号的积累概率表为： 算术编码方法 信源序列S=abda的算术编码为： 算术编码方法 信源序列abda算术编码图解 算术编码的编、译码方法有许多优点，尤其它的渐近最佳性。 存在的问题： 1.大量乘法的存在造成运算量大，难以做到实时编译码，特别是积累概率转换成二进制数要求精度高时 2. 计算精度问题：随着递推运算的延续，F(S)和p(S)的小数位数也将逐步增加，若不能随时输出和加以截断，运算器将难于容纳,但有截断必然降低精度,而精度不够会影响编、译码的正确性。 算术编码方法 信源序列积累概率的递推公式为 F (Sur)＝F(S)＋p(S)F(ur) p(Sur)＝p(S)p(ur) 则二元信源序列积累概率的递推公式为 F(S0)＝ F(S) ＋p(S)F(0)＝ F(S) F(S1) ＝ F(S) ＋p(S)F(1) p(S1)＝p(S)p(1) p(S0)＝p(S)p(0) 且 p(S)＝p(S0)＋p(S1)，F(1)＝p(0) 不做乘法的算术编码 如果令p(S1)≈2–q p(S)，则不做乘法的二进制算术编码的递推公式为: p(S0)= p(S) -p(S1) F(S0)＝ F(S) F(S1) ＝ F(S) ＋p(S)F(1) ＝ F(S) ＋p(S)p(0) ＝ F(S) ＋p(0) 不做乘法的算术编码 p（S1）≈2 -qp（S） （3-22） p（S0）＝p（S）－p（S1） （3―23） F（S0）＝F（S） （3―24） F（S1）＝F（S）＋p（S0） （3―25） 式中： 0——二元信源中高概率符号； 1——二元信源中低概率符号。 不做乘法的算术编码 不做乘法的算术编码步骤： (1) 初始时，设S＝，p()＝0.111…1, F()＝0.000…0; (2)输入一个信源符号，用递推公式(3―22）)~(3―25)计算p(S1)、p(S0)、F(S0)、F(S1)； (3) 重复步骤(2)，直至信源序列结束。 不做乘法的算术编码 游程：二元序列中，把连0的段叫0游程，把连1的段叫1游程 游程长度：连0符号的个数称0游程长度，连1的符号的个数称1游程长度 可把二元序列变换为游程长度序列，且二者是可逆的——游程变换 例如：二元序列 000011111001111110000000111111… 对应的游程序列：452676… 游 程 编 码 游 程 编 码 游程变换将二元序列变换成了多元序列；这样就适合于用其他方法，如哈夫曼编码，进一步压缩信源，提高通信效率。 编码方法： 首先测定“0”游程长度和“1”游程长度的概率分布，即以游程长度为元素，构造一个新的信源； 对新的信源（游程序列）进行霍夫曼编码。 多元序列也可以变换成游程序列，如m元序列可有m种游程。但是变换成游程序列时，需要增加标志位才能区分游程序列中的“长度”是m种游程中的哪一个的长度，否则，变换就不可逆。这样，增加的标志位可能会抵消压缩编码得到的好处。所以，对多元序列进行游程变换的意义不大。 游 程 编 码 小结 算术编码： 通过关于信源符号序列的积累概率的计算，把区间分割成许多小区间，不同的信源符号序列对应不同的区间为[F(s),F(s)+P(s)) 。可取小区间内的一点来代表这序列。 小区间左、右端点的递推公式： low(Sur)=low(S)+range(S)×low(ur) (3-13) high(Sur)=low(S)+range(S)×high(ur） 编码方法：将符号序列的积累概率写成二进位的小数，取小数点后k位，若后面有尾数，就进位到第L位，这样得到的一个数C，并使L满足 小结 课后作业 P64， 1.习题3-6（2），信源序列改为1001 2.习题3-7 算术编码和游程编码 无失真信源编码 深刻理解算术编码原理 熟练掌握作图与公式相结合计算积累概率的方法 熟练掌握算术编码方法 深刻理解游程编码原理和意义 要求掌握的内容 霍夫曼编码的原理方法 霍夫曼编码的适用条件 信息熵的计算公式： [温旧引新] 平均码长的计算公式： 用霍夫曼编码方法对小消息信源进行编码，要实现统计匹配，提高编码效率，必须扩展信源，即由一维扩展至多维进行霍夫曼编码时，才能使平均码长接近