第5章无失真和限失真信源编码.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 5.2 无失真信源编码 信源输出 X＝(X1X2…Xl…XL)， Xl?{a1，a2，…，ai，…，an} 编码为 Y＝(Y1Y2…Yk… YkL)， Yk?{b1，b2，…，bj，…，bm} 要求能够无失真或无差错地译码，同时传送Y时所需要的信息率最小 。 5.2 无失真信源编码 Yk平均每个符号的最大信息量为log m， KL长码字的最大信息量为KLlog m。用该码字表示L长的信源序列，则传送一个信源符号需要的信息率平均为 5.2 无失真信源编码 信息率最小:就是找到一种编码方式使 最小。 无失真信源编码定理研究的内容: 最小信息率为多少时，才能得到无失真的译码？若小于这个信息率是否还能无失真地译码。 5.2 无失真信源编码 无失真的信源编码定理 定长编码定理 变长编码定理 5.2.1 定长编码定理 由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL，可用KL个符号Y1，Y2，…，Yk，…，YKL (每个符号有m种可能值)进行定长编码。 对任意?0，?0，只要 则当L足够大时，必可使译码差错小于?； 反之，当 时， 译码差错一定是有限值，而L足够大时，译码几乎必定出错。 5.2.1 定长编码定理 定长编码定理说明： 5.2.1 定长编码定理 反之，当 时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。 时，则为临界状态，可能无失真，也可能有失真。 5.2.1 定长编码定理 例:信源有8种等概率符号,L=1,信源序列熵达到最大值,H(x)=3bit/符号,即K= 3bit/符号= H(x). 当信源符号输出概率不相等时,若p(ai)={0.4,0.18,0.1,0.1,0.07,0.06,0.05,0.04},则H(x)=2.55bit/符号 用22.55=5.856种可能的码字 5.2.1 定长编码定理 在这种编码方式下，若差错概率为Pe，据切比雪夫不等式可导出 5.2.1 定长编码定理 式中 为自信息方差,?为一正数。当 和 均为定值时，只要L足够大，Pe可以小于任一正数?。即， 5.2.1 定长编码定理 当信源序列长度L满足 时， 能达到差错率要求 5.2.1 定长编码定理 在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。 5.2.1 定长编码定理 定义 为编码效率，即信源的平均符号熵为H(X)，采用平均符号码长为 来编码，所得的效率。 编码效率总是小于1，且最佳编码效率为 5.2.1 定长编码定理 编码定理从理论上阐明了编码效率接近1的理想编码器的存在性，它使输出符号的信息率与信源熵之比接近于1，即 5.2.1 定长编码定理 例1 设离散无记忆信源概率空间为 5.2.1 定长编码定理 对信源符号采用定长二元编码，要求编码效率为 90％，若取L＝1，则可算出 5.2.1 定长编码定理 5.2.2 变长编码定理 变长编码定理 在变长编码中，码长K是变化的 根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配） 5.2.2 变长编码定理 单个符号变长编码定理： 若离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式 5.2.2 变长编