信息论课件-无失真信源编码.pptVIP

§4.3变长编码定理－12 问题： 对于已知信源S可用码符号X进行变长编码，而且对同一信源编成同一码符号的前缀码或惟一可译码可有许多种。究竟哪一种最好呢?从高速度传输信息的观点来考虑，当然希望选择由短的码符号组成的码字，就是用码长作为选择准则。 引入：码的平均长度。 离散无记忆平稳信源 信源熵率为 码字母表个数为M， 则前缀码平均码长： §4.3变长编码定理－13 无失真变长信源编码定理(即香农第一定理) ： 离散无记忆平稳信源S，其熵率为 ，并有码符号X={x1,…,xm}。对信源S进行编码,总可以找到一种编码方法，构成惟一可译码，使信源S中每个信源符号所需的平均码长满足: 另一方面,必可以找到前缀码，使其平均码长满足 §4.3变长编码定理－14 定理证明－略 物理意义： 又称无噪信道编码定理 编码后的码符号信源尽可能为等概分布，使每个码符号平均所含的信息量达到最大 要做到无失真编码，变换每个信源符号平均所需最少的m元码元数就是信源的熵率（以m进制信息量单位测度） 信源的熵率是描述信源每个符号平均所需最少的比特数 定理说明： 是存在性定理－－具有理论指导意义 是构造性定理－－设计出多种具体编码方法 无失真信源编码 无失真信源编码 无失真编码概述 定长信源编码 变长信源编码 实用的无失真信源编码方法举例 §4.1无失真编码概述－1 离散、无失真、无记忆信源编码的一般模型： ? 总码组合数： 总组合数： 入 出 信源 编码 §4.1无失真编码概述－2 问题：能否进行无失真编码，怎样进行无失真编码 若：不考虑信源统计特性： 应满足条件： 相互矛盾！ 由 结论：①当 n = m 时，K≥L 不有效。 ②当K = L 时，m≥n，亦不满足有效性 解决办法： 引入信源统计特性。 §4.1无失真编码概述－3 考察无失真条件： 分别表示等概条件下的消息熵 与码字熵 之比， 考虑信源的实际统计特性（非等概），实际消息熵为： 代入无失真条件得： 此时：即使m=n,只要 就有可能实现KL。 即无失真与有效性同时满足。 具体实现时：定长与变长编码 定长编码定理 描述 证明 物理意义 实际应用中的问题 §4.2定长编码定理－1 渐进等分割性 描述 证明 物理意义 应用 §4.2定长编码定理－2-描述 定长（等长）码信源编码定理： 对离散，无记忆、平稳、遍历信源其符号序列：S =(S1,S2 …..SL)， 可用K个符号C =(C1,C2….Ck) 进行等长编码，对任意ε0,δ0， 只要满足： (K/L)log m≥H(S)+ε 则：当L足够大时，可使译码差错小于δ， 反之，当 (K/L)log m≤H(S)-2ε 时，译码一定出错。 解释：定长编码定理给出了信源进行等长编码所需码长的理论极限值。 §4.2定长编码定理－2-进一步理解 若要求变得的等长码是唯一可译的，则必须： 若L＝1，则： 结论：对于唯一可译码，每个信源符号至少需要用 个码符号来变换。 当采用二元码编码时，m＝2，则： 结论：对信源进行二元等长编码时，每个信源符号所需码长的极限值为 例1：英文电报有32个符号（26＋6），即n=32， 若m=2，L＝1（即对信源的逐个符号进行二元编码）， 则： 解释：每个英文电报符号至少需要用5位二元符号编码 问题：第三章：在考虑符号出现的概率和符号间相关性前提下,每个英文符 号平均携带的信息量是1.4bit/符号（ ），5bit/符号， 等长编码效率极低，如何提高效率？如何体现有效性？ Bit/符号 解决方法： 考察：字母个数为n，字母出现非等概，且字母之间相关长度为L的英文信源，其可能的字母序列总数为 ；但其中大部分字母序列是无意义的字母组合，而且随着L的增加，这种无意义序列的总数越来越大。 方法：进行联合编码，即对字母序列