6-第六讲 等的长信源编码定理.pptVIP

6－1 信源编码 6－2 典型序列和信源划分定理 6－3 等长信源编码定理 ;6－1 信源编码;信源 Si= （si1,si2,…,siN） si k?S={s1, s2,.. sq}; 变换的要求是能够无失真或无差错地从 Wi 恢复Si也就是能正确地进行反变换或译码。同时希望传送 Wi 时所需的信息率最小（即 Wi 的符号个数最少）。; 研究信源编码定理有定长编码和变长编码两种方法。 前者 L 是定值，相应的编码定理称为定长编码定理，我们寻找最小 L 值的编码方法； 后者 L 为变值，相应的编码定理为变长编码定理。此时 L 值最小意味着它的数学期望为最小。 （平均码长） ;编码速率 ：送出一个信源符号所需的平均信息率； ;定长编码定理概述 ; 上边是独立等概的情况。当不等概时，我们注意到每个信源符号的信息量为H(S)，长为 N 的信源输出序列集的最大熵为NH(S)，译码时若 r 个符号独立等概，则其携带的信息量最大，码长最短，所以最小码长至少应满足： ;严格的证明需要利用序列的渐进等分特性： AEP：Asymptotic equipartition property 当独立等分布的随机序列趋于无限长时，一些序列 以近似相等的高概率出现。这些序列为典型序列， 编码只对它们编码即可。;二项分布：;车比雪夫不等式：;（弱）大数定律： （Bernoulli 形式）;随着n增加，图形越展开和平坦，同时概率越集中到中央部分。这些序列就是典型序列 typical sequences;设信源输出的 N 长序列： 信源是无记忆的，消息序列的概率和自信息量为： ;根据弱大数定律，对任意 , 有： ; ; 上述的不等式是任意序列都可以吗？ 假如随机序列都取同一个字母，;可以对信源输出的所有可能的 个序列进行如下分类： ;信源划分定理： 给定信源 当 ， 或者对于所有 ，存在正整数N0，使当 NN0 时， 有 ;引理一：特定典型序列出现的概率： 若 , 则 ;引理二、典型序列的数目： 当 N 足够大时，对于给定的信源和 典型序列的个数 满足： 即： ; 信源编译码的过程可以看作通过无干扰信道传输的 过程，若译码得到的结果 ，则为无错译码 ，如 ，则认为译码出现错误，译码错误 概率表示 ;证：;（2）必要性;至多有码字 而 中每个 的概率至多为 ，所以在 中的序列可以找到码字的概率为：（能找到码字的序列出现的事件的概率之和） = 典型序列集中码字个数的序列的概率和。;这个定理说明：对于给定的离散无记忆信源，若r－元码的速率R超过信源的熵，即 ;例题： 英文字母，用5 bit编码； 考虑英文的极限熵，为1.4 bit，需要1.4比特即可。;第六讲 等长信源编码定理 结 束