信源编码(下).ppt

第2章 无失真信源编码 2.4 算术编码 ;计划学时：3学时 要求掌握的主要内容： 1.深刻理解算术编码原理。 2.熟练掌握作图与公式相结合计算积累概率的方法。 3.了解算术编码实用技术上的困难与解决方案。 重点难点： 重点----算术编码原理。 难点---- 计算积累概率的递推算法。;外语关键词： 算术编码：Arithmetic Coding 序列概率：Symbol String Probability 积累概率：Cumulative Probability 递推公式：Recursion Formula 作图法：Diagraph Method 流编码技术：Stream Coding Technology 计算精度：Precision in Calculation 进位问题：Problem of Carry;变长码编码原理-----概率匹配原则： log r(1/pi )≤ l i ≤1+ log r(1/pi ) 经常出现的符号采用较短的码字表示，不常出现的符号采用较长的码字表示，使平均码长最短。 信源序列的概率： 无记忆信源：单个符号概率之积； 有记忆信源：各阶条件概率之积；;2.4 算术编码 ;2.4.1 有限长序列的算术编码原理 ; (1)序列概率： p(Si) =p(aL-1aL-2……a2a1a0 ) -----由于无记忆 = p(aL-1 ) p( aL-2 )…… p(a1 )p( a0 ) = (1/2)L=2-L -------由于等概。 结论：长度为L的二元等概无记忆信源序列(Si)，共2L个，概率都相等,为2-L； 把这些序列的概率按照自然码顺序排在数轴上，因总概率为1，故恰好排满[0,1]区间。; (2)积累概率： 定义序列Si的积累概率F(Si)是按照自然码顺序排列在(Si)前面的所有序列的概率之和： F(Si)= p(S0)+ p(S1)+ p(S2)+……+ p(Si-1) 比如，F(S0)=0, F(S1)=p(S0)，F(S2)=p(S0)+p(S1)， F(S3)= p(S0)+p(S1)+p(S2)，…… 序列概率与积累概率之间的关系为： F(Si+1)=F(Si)+p(Si) 或 p(Si)=F(Si+1)-F(Si);F(S0) F(S1) F(S2) F(Si) F(Si+1) F(S2L-2) F(S2L-1) 1 p(S0) p(S1) p(S2) p(Si) p(S2L-2) p(S2L-1) ;用二进制小数表示： F(S5)= 5×1/8= (101)2 × 2-3 =(0.101)2 结论：(1) 等概序列的概率在数轴上均匀分布，每个都等于数轴的最小分度2-L ；(2)等概序列的积累概率是该序列为有效数字的二进制纯小数。 [例]已知L=5; Si=11101; 求序列概率与积累概率。 解： p(Si)≡ 2-L = 1/32=(0.00001)2 ， F(Si)=(0.11101)2 =1/2+1/4+1/8+1/32=29/32;; 2．二元非等概序列的积累概率： 假设信源无记忆：p(0)= p0 =1/4, p(1)= p1 = 3/4； (1)序列概率： 如Si=11101; p(Si)= p14 p0 =(3/4) 4(1/4)=81/1024; 显然序列中1与0的个数不同，序列概率便不同。各个p(Si)在概率数轴上是非均匀分布的： 如 L=2时，S0=00, S1=01, S2=10, S3=11；则： p(00)=1/16，p(01)= p(10)=3/16， p(11)=9/16; ; 不难求出： F(00)=0,F(01)=1/16,F(10)=1/4,F(11)=7/16; 表达成为二进制小数，4个积累概率分别是： F(00)=0,F(01)=0.0001,F(10)=0.01,F(11)=0.0111： 显然都不是原序列小数点的简单移动。;结论：(1) 非等概序列的概率在数轴上非均匀分布；(2)非等概序列的积累概率与原序列没有小数点简单移位的规律。 [