信息论与编码理论_第三章.pptVIP

第三章 信源编码（一）离散信源无失真编码 3.1 信源及其分类 3.2 离散无记忆信源的等长编码 3.3 离散无记忆信源的不等长编码 3.4 最佳不等长编码 3.1 信源及其分类 信源及其分类 离散信源 …U-2,U-1,U0,U1,U2,…，Ul取自字母表A 无记忆信源: Ul彼此独立 有记忆信源：Ul彼此相关 简单信源： Ul独立同分布 平稳信源，各态历经源 M阶记忆源（有限状态马尔可夫链） 连续信源 时间离散连续源 随机波形源 3.2 离散无记忆源的等长编码 离散无记忆源 字母表A={a1,…,aK},概率p1,…,pK,长为L的源输出序列uL={u1,…,uL}，共有KL种序列 码符号字母表B={b1,…,bD},以码符号表示源输出序列，D元码 等长D元码，不等长D元码 单义可译码，每个消息都至少有一个码字与之对应。 单义可译码存在充要条件DN≥KL N≥LlogK/logD DMS的等长编码 NlogD≥LH(U) H(U)是统计平均值，L达到无限时，一个具体的源输出序列的平均每符号的信息量才等于H(U) 选L足够长，使 NlogD≥L[H(U)+eL] DMS序列的自信息量 弱、强e典型序列集 信源划分定理 典型序列的比例 编码速率和等长编码定理 R=(1/L)logM=(N/L)logD, M为码字总数 定义：对于给定信源和编码速率R以及任意e0，若有L0,以及编译码方法，使得LL0,错误概率小于e，R是可达的 等长编码定理 RH(U),R是可达的，RH(U)是不可达的 编码效率=H(U)/R 3.3 DMS的不等长编码 平均码长 几个定义 唯一可译码 逗点码，无逗点码 字头或前缀 异字头码或异前缀码 树码，满树，非满树，全树 树码构造异字头码 例子 Shannon－Fano编码 D元码 每次信源符号化为概率近似相等的D个子集 这样可以保证D个码元近似等概，每个码字承载的信息量近似最大，码就近似最短。 理想情况I(ak)=nklogD, p(ak)=D-nk Kraft不等式 不等长编码定理 3.4最佳不等长编码 Huffman编码的最佳性 所谓最佳：是指在所有可能的编码方法中，其编码得到的平均码长最短。 定理3.4.1：对于给定信源，存在有最佳惟一可译二元码，其最小概率的两个码字CK-1和CK的长度最长且相等，它们之间仅最后一位码元取值不同(一个为0，另一个为1)。 Huffman编码的最佳性 对信源 可对aK-1和aK的码字的最后一位分别指定为1和0，然后作一辅助集 Huffman编码的最佳性 定理3.4.2 对辅助集U ’为最佳的码，对原始消息集U也是最佳的。 若C’1，C’2，…，C’K-1是对辅助集U 的最佳码，相应码长为n’1，n’2，…，n’K-1，则对U的码字C1，C2,…, CK的码长为 nk= n’k k≤K–2 nk= n’K-1+1 k=K, K–1 Huffman编码的最佳性 例：Huffman编码过程 例：Huffman编码过程 Shannon-Fano编码例子 cabcedeacacdeddaaabaababaaabbacdebaceada 共40个字母 频度 a - 16，b - 7，c - 6，d - 6，e - 5 1) 将给定符号按照其频率从大到小排序。 a - 16 b - 7 c - 6 d - 6 e – 5 2) 将序列分成左右两部分，使得左部频率总和尽可能接近右部频率总和。有： (a, b), (c, d, e) Shannon-Fano编码例子 3) 我们把第二步中划分出的上部作为二叉树的左子树，记 0，下部作为二叉树的右子树，记 1。 4) 分别对左右子树重复 2 3 两步，直到所有的符号都成为二叉树的树叶为止。 Shannon-Fano编码例子 编码结果 Cabcedeacacdeddaaabaababaaabbacdebaceada 10 00 01 10 111 110 111 00 10 00 10 ...... 长91bit 采用3bit等长编码需120bit 采用ASCII码需要320bit 采用Huffman编码 Huffman编码 Shannon-Fano编码构造二叉树是自树根到树叶，很难保证最佳性。 Huffman编码则是从树叶到树根，是最佳的 总结 Huffman需要知道信源的概率分布，这在实际中有时是比较困难的。 采用半静态模型、自适应模型、markov模型，部分匹配预测模型等等解决这一问题。 D元Huffman编码 共有K个符号，概率最小的R个符号码长最长 K+B=D+m(D-1) 注意BD-1 K-2=m(D-1)+D-2-B