信息论与编码8----限失真信源编码2.pptVIP

信息论与编码-限失真信源编码 5. 算术编码 算术编码也是一种无失真信源编码方法。 前面讨论的无失真信源编码方法，都是针对单个信源符号的编码，当信源符号之间有相关性时，这些编码方法由于没有考虑到符号之间的相关性，因此编码效率就不可能很高。解决的办法是对较长的信源序列进行编码，但会遇到与定长编码时同样的问题。而且，采用前面的序列编码需要完全知道联合概率和条件概率，这在 信息论与编码-限失真信源编码 场合下也是比较困难的。 为了解决这个问题，需要跳出分组码的局限，研究非分组码。算术编码就是一种非分组编码方法。其基本思路是：从全序列出发，将不同的信源序列的累计概率映射到[0，1]区间上，使每个序列对应区间上的一点，也就是说，把区间[0，1]分成许多互不重叠的小区间，不同的信源序列对应不同的小区间，可以证明，只要这些小区间互不重叠，就可以编得即时码。 信息论与编码-限失真信源编码 这种编码方法无需计算出所有信源序列的概率分布及编出码表，可以直接对输入的信源符号序列进行编码输出。 算术编码的主要编码方法就是计算信源符号序列所对应的小区间。下面我们讨论如何找出信源符号序列所对应的区间。 设信源符号集 ，其相应的概率分布为 。定义信源符号的累积分布函数为 信息论与编码-限失真信源编码 则 对二元序列有： 现在，来计算信源序列 的累积分布函数。 信息论与编码-限失真信源编码 只讨论二元无记忆信源，结果可推广到一般情况。 初始时，在[0，1）区间内由F(1)划分成二个子区间[0，F(1)）和[F(1)，1），F(1)=p(0)。子区间[0，F(1)]的宽度为A(0)=p(0)，子区间[F(1)，1）的宽度为A(1)=p(1)。子区间[0，F(1)]对应于信源符号“0”，子区间[F(1)，1）对应于信源符号“1”。若输入符号序列的第一个符号为s=“0”，即落入相应的区间为[0，F(1)），得F(s=“0”)=F(0)=0。即某序列累积概率分布函数为该序列所对应区间的下界值。 信息论与编码-限失真信源编码 当输入的第二个符号为“1”时，s=“01”，s=“01”所对应的区间是在[0，F(1)）中进行分割。符号序列“00”对应的区间宽度为A(00)=A(0)p(0)=p(0)p(0)；符号序列“01”对应的区间宽度为A(01)=A(0)p(1)=p(0)p(1)=p(01)，也等于A(01)=A(0)-A(00)。”00”对应的区间为[0，F(s=“01”)）；”01”对应的区间为[F(s=“01”)，F(1)）。其中F(s=“01”)是符号序列“01”区间的下界值，可见，F(s=“01”)=p(0)p(0)正是符号序列s=“01”的累计分布函数。 信息论与编码-限失真信源编码 当输入符号序列中第三个符号为“1”时，因前面已输入序列为s=“01”，所以可记做输入序列为s1=“011”（若第三个符号输入为“0”，可记做s0=“010”）。现在，输入序列s1=“011”所对应的区间是对区间[F(s)，F(1)）进行分割。序列s0=“010”对应的区间宽度为A(s0=“010”)=A(s=“01”)p(0)=A(s)p(0)，其对应的区间为[F(s)，F(s)+A(s)p(0)），而序列s1=“011”对应的区间宽度为 A(s1=“011”)=A(s)p(1)=A(s=“01”)-A(s0=“010)， 信息论与编码-限失真信源编码 即A(s1=“011”)=A(s)-A(s0)，其对应的区间为[F(s)+A(s)p(0),F91)）。可的，符号序列s1=“011”的累计概率分布函数为F(s1)=F(s)+A(s)p(0)。 若第三个符号输入为“0”，由上述分析可得，符号序列s0=“010”的区间下界值仍为F(s)，所以符号s0=“010”的累计分布函数为F(s0)=F(s)。 现已输入三个符号串，将这符号序列标为s，接着输入第四个符号为“0”或“1”，又可计算出s0=“0110”或s1=“0111”对应的子区间及其累积 信息论与编码-限失真信源编码 分布函数。根据前面的分析，可归纳出： 当已知前面输入符号序列s，若接着输入一个符号“0”，序列s0的累计分布函数为 F(s0)=F(s) 对应区间宽度为 A(s0)=A(s)p(0) 若接着输入的一个符号是“1”，序列s1的累计分布函数为 信息论与编码-限失真信源编码 F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p