2.9信源编码.docVIP

2.9信源编码 信源编码原理 完成编码功能的器件称为编码器。 如前所述，离散信源输出的消息是一个一个离散的原始符号x1,x2…xn. 由L个原始符号组成尚未编码的序列为： X=(X1X2…Xl…XL) 其中Xl∈{x1,x2,…,xi,…xn}。 即若干个原始符号组成一个大符号X。 编码器把信源输出的随机符号序列变成码序列： A=(A1A2…Ak…AK) 其中Ak∈{a1,a2,…,aj,…am}。 信源符号每L个组成一组，用K个码符号对每一组信源符号进行编码，显然要求信源消息与码序列必须一一对应，即每组信源符号都有一个码字（即每一组K个码符号）为其编码，而每一个码字都可唯一地译出一组信源符号，这样才能做到无失真传送。 信源编码有等长度编码和变长编码两种编码法。 2.9.1等长编码定理 由L个符号组成，每个符号的熵为H(X)的平稳无记忆符号序列X1X2…Xl…XL，可用KA1A2…Ak…AK,个符号（每个符号有m种可能取值）进行等长编码，对任意ε0,只要满足： （正定理）(2.9.1) 则当L足够大时，必可使译码差错任意小，实现几乎无失真的编码。反之，如果 (逆定理）　(2.9.2) 则不可能实现无失真编码，当L足够大时，译码必然出错。 这里仅对定理进行物理解释，式（2.9.1）中m表示编码后码字的符号可能取值数，设m个符号是等概率的，则一个符号的信息量为lbm，由于这里是等长码，每个码字的长度为K，码字可能的总数应为mK，如果信源是平稳无记忆的，长度为K的码字的信息量应为单个符号信息量的K倍。即： lbmK=Klbm Klbm是编码后一个码字的信息量，它代表一个信源符号序列的信息量，那么平均一个信源符号的信息量应为K/L*lbm。故正定理式（2.9.1）说明，只要编码后折合到信源每个符号的平均信息量略大于信源单符号熵，就可以做到无失真译码，条件是L要足够大。可以证明只要： 逆定理说明，如果平均符号熵K/L*lbm比信源熵小2ε,则译码失真一定大于δ,时译码一定失真。在式（2.9.1）和（2.9.2）之间的情况，则译码失真不能确定是否会超过δ。 可以设想，根据确定的Ｌ计算所有信源符号序列（均含有L个符号）的概率，从大到小排成一排，再把此概率从大到小累加，直到其数值p略大于(1-δ)，后面概率更小的就不要进行编码了（舍去不要了），仅对前面的符号序列进行编码，尽管舍去了一部分，其译码差错率也必然小于δ，只要将δ选得足够小，就能实现几乎无失真译码。而所需的平均符号熵也可不超过H(X)+ ε，如ε足够小，编码效率就近于１。 现在的问题是L足够长，到底是多长？看下面一个例子。 [例2.9.1]有一离散无记忆信源 .如采用等长二元编码，要求编码效率η=0.9，译码差错率δ≤10-4,求必须的编码长度L。 由L个符号组成的，每个符号的熵为H(X)的平稳无记忆符号序列 ，可用K个符号（每个符号有m种可能取值）进行定长编码，对任意，只要 则当L足够大时，必可使译码差错小于。反之当 时，译码差错一定是有限值，当L足够大时，译码必定出错。 不等式（1）中，m代表码序列中每个符号的可能取值数，假定m个取值是等概率的,则单个符号的信息量为。对于定长编码，每个码字的长度都是K，故码字的总数为。若信源是平稳无记忆的，长度为K的码序列的总信息量为： 代表的是消息（长为L的信源符号序列）的信息量。平均每个符号的信息量即平均符号熵为。显然传送一个信源符号所需的信息率就是。定长编码定理中的正定理说明，信息率略大于单符号熵时，可做到几乎无失真译码，条件是L必须足够大。可以证明，只要 (3) 译码差错率一定小于任意正数。逆定理说明，信息率比信源熵略小一点（小一个）时，译码差错未必超过限定值，但若比H(X)小，则译码失真一定大于，时，必定失真。 信源熵H(X)其实就是一个界限，或者说是一个临界值，当编码器输出的信息率超过这个临界值时，就能无失真译码，否则就不行。 信源编码定理从理论上阐明了编码效率接近于1，即的理想编码器的存在性，代价是在实际编码时取无限长的信源符号（）进行统一编码。具体来说，就是给定和，用式（3）规定的L计算所有可能信源消息的概率，按由大到小的次序排列，选用概率较大的消息进行编码，于是有编码的消息构成一个集合，直到该集合的概率，意味着译码差错率必定小于，即完成了编码过程。只要足够小，就可实现几乎无失真译码，所需的信息率也不会超过；若足够小，编码效率就接近于1。 理想编码器实际上是很难实现的。 [例]设某单符号信源模型为 计算得 若要求编码效率为90%,即 则 =0.28 设译码差错率为，由式（3）可得