第四章：无失真信源编码要点.ppt

第四章：无失真信源编码 无失真信源编码 无失真编码概述 定长信源编码 变长信源编码 实用的无失真信源编码方法举例 §4.1无失真编码概述－1 离散、无失真、无记忆信源编码的一般模型： ? 入 出 §4.1无失真编码概述－2 问题：能否进行无失真编码?怎样进行无失真编码? (前提：不考虑信源统计特性) 应满足条件： 无失真条件变换 相互矛盾！ 结论：①当 n = m 时，K≥L 不有效。 ②当K = L 时，m≥n，亦不满足有效性 解决办法： 引入信源统计特性。 无失真： 有效： §4.1无失真编码概述－3 考察无失真条件： 等概条件下的消息符号熵 等概条件下的码字符号熵 考虑信源的实际统计特性（非等概），实际消息熵为： 代入无失真条件得： 结论：即使m=n,只要 就有可能实现KL。 即无失真与有效性同时满足。 具体实现方法：定长与变长编码 §4.2定长编码定理－1-描述 定长（等长）码信源编码定理： 对离散，无记忆、平稳、遍历信源其符号序列：S =(S1S2 …..SL)， 可用K个符号C =(C1C2…CK) 进行等长编码，对任意ε0,δ0， 只要满足： 则：当L足够大时，可使译码差错小于δ， 反之，当 时，译码一定出错。 解释： 定长编码定理给出了信源进行等长编码所需码长的理论极限值。 结论：对信源进行二元等长编码时，每个信源符号所需码长的极限值为 结论：对于唯一可译码，每个信源符号至少需要用 个码符号来变换。 §4.2定长编码定理－2-进一步理解 若要求所得的等长码是唯一可译的，则必须： 若L＝1，则： 当采用二元码编码时，m＝2，则： §4.2定长编码定理－2-进一步理解 每个码字（码序列）所能携带的平均信息量 每个源序列所包含的平均不确定性。即：信源序列携带的信息量 等长有效性的无失真编码的条件： 码长下限： 为实现有效： 误码率任意小的方向：? 结论：只要码字能够携带的信息量大于信源序列携带的信息 量，总可以实现几乎无失真编码 考虑信源统计特性 讨论：第三章：在考虑符号出现的概率和符号间相关性前提下,每个 英文符号平均携带的信息量是1.4bit/符号5bit/码符号。 §4.2 定长编码定理－3-举例 例1：英文电报有32个符号（26＋6），即n=32， 若m=2，L＝1（即对信源的逐个符号进行二元编码）， 则： bit 解释：每个英文电报符号至少需要用5位二元符号编码 （每位二元符号可以携带1bit信息，即每个英文电报符号用了可以携带 5bit信息的码符号即5位二元码表示） 问题：如何提高效率？如何体现有效性？ 结论：若不考虑信源统计特性等长编码效率极低! §4.2定长编码定理－4-进一步理解 解决方法： 字母个数为n，字母之间相关长度为L的英文信源，其可能的字母序列总数为 ；但其中大部分字母序列是无意义的字母组合，而且随着L的增加，这种无意义序列的总数越来越大。 考察： 方法： 问题： 会引入一定的误差！！但当L足够长后，误差可以任意小。 §4.2定长编码定理－5－证明 考察离散、随机序列信源的统计特性 －－渐进等分割性（AEP） AEP描述： 渐进等分割定理： （熵定理，遍历性定理） 设 是离散无记忆信源输出的一个特定序列，则任给 和 ，总可以找到一个整数 ，使当 时，有： 引入：渐进等分割性（AEP: Asymptotic Equipartition Property ） 特定序列的平均符号自信息 随机矢量的平均符号熵 任何一个离散随机序列信源当序列长度L→∞时,信源序列会产 生两极分化.小概率事件集合 与大概率事件集合 ,即nL= ∪ 对于 有性质: ??????? ???????