第5章-3信息论和编码.pptVIP

5.3 限失真信源编码定理;限失真信源编码定理;5.4 常用信源编码方法;常用信源编码;游程编码;游程编码;游程变换减弱了原序列符号间的相关性。 游程变换将二元序列变换成了多元序列； 这样就适合于用其他方法,如哈夫曼编码,进一步压缩信源,提高通信效率。 编码方法： 首先测定“0”游程长度和“1”游程长度的概率分布,即以游程长度为元素,构造一个新的信源； 对新的信源(游程序列)进行哈夫曼编码。;多元序列也存在相应的游程序列 多元序列变换成游程序列再进行压缩编码没有多大意义 游程编码只适用于二元序列，对于多元信源，一般不能直接利用游程编码;冗余位编码——游程编码在多元信源的应用;5.4.2 算术编码;0 0.36 0.6 0.84 1;累积概率;累积概率Pr+1和Pr都是小于1的正数,可用[0,1]区间内的两个点来表示;;计算二元无记忆信源序列的累积概率 初始时：在[0,1)区间内由P(1)划分成二个子区间[0, P1 )和[P1 ,1) , P(1) = p(0) 。 子区间[0, P1 )的宽度为A(0)= p(0) ,对应于信源符号“0”； 子区间[P1 ,1)的宽度为A(1)= p(1) ,对应于信源符号“1”； 若输入符号序列的第一个符号为S =“0”,落入[0, P1 )区间,得累积概率 P (S =“0”)= P(0) = 0； ;若输入第二个符号为“1”,S =“01”, S =“01”所对应的区间是在区间[0, P(1) )中进行分割； 符号序列“00”对应的区间宽度为 A(00)=A(0) p(0)=p(0)p(0)= p(00)； 对应的区间为[0,P(S =“01”))。 符号序列“01”对应的区间宽度为 A(01) =A(0) p(1)= p(0)p(1)= p(01) = A(0)－A(00)； 对应的区间为[P(S =“01”),P(1))。 累积概率: P(S =“01”)=p(00)= p(0)p(0);P(0);011→S1, S=01 输入序列S1=“011”对应的区间是对区间[P(S), P (1))进行分割 序列S0=“010”对应的区间宽度为 A(S =“010”)=A(S=“01”)p(0)=A(S) p(0) 其对应的区间为[P(S), P(S)+ A(S) p(0))； 序列S1=“011”对应的区间宽度为 A(S=“011”)=A(S)p(1) =A(S =“01”)－A(S =“010”)= A(S)－A(S0) 其对应的区间为[P(S)+ A(S) p(0),P(1))；;符号“00”区间宽度 A(00)=p(00);符号序列对应的区间宽度 A(S=“0”) = p(0) A(S=“1”) = 1－A(S=“0”)=p(1) A(S=“00”) = p(00) = A(0) p(0) = p(0) p(0) A(S=“01”) = A(S=“0”)－A(S=“00”) = p(01)= A(0) p(1) = p(0) p(1) A(S=“10”) = p(10)=A(1) p(0) = p(1) p(0) A(S=“11”) = A(S=“1”)－A(S=“10”) =p(11)=A(S=“1”)p(1)=p(1) p(1) A(S=“010”) = A(S=“01”)?p(0)=p(01) p(0)＝p(010) A(S=“011”) = A(S=“01”)－A(S=“010”) = A(S=“01”)p(1)= p(01) p(1)= p(011) 信源符号序列S所对应区间的宽度等于符号序列S的概率p(S)。;算术编码;例：已输入二元符号序列为S=“011”,接着再输入符号为“1”, 得序列累积概率为： P(S,1)=P(0111)=P(S=“011”)+p(011)p(0) =P(S=“01”)+p(01)p(0)+p(011)p(0) =P(S=“0”)+p(0)p(0)+p(01)p(0)+p(011)p(0) =0 +p(00)+p(010)+p(0110) 对应的区间宽度为 A(S,1)=p(S=“011”) p(1)= p(011) p(1)= p(0111);算术编码;算术编码;算术编码;算术编码;例：设二元