信息与编码chap3.pptVIP

第三章 信源编码（一）离散信源无失真编码 3.1信源及其分类 3.2离散无记忆信源的等长编码 3.3离散无记忆信源的不等长编码 3.4最佳不等长编码 3.1 信源及其分类 信源及其分类 离散信源 连续信源 无记忆信源 有记忆信源 简单信源－独立同分布 平稳信源，各态历经源 M阶记忆源 时间离散连续源 随机波形源 3.2 离散无记忆源的等长编码 离散无记忆源 字母表A={a1,…,aK},概率p1,…,pK,长为L的源输出序列uL={u1,…,uL}，共有KL种序列 码符号字母表B={b1,…,bD},以码符号表示源输出序列，D元码 等长D元码，不等长D元码 单义可译码，每个消息都至少有一个码字与之对应。 单义可译码存在充要条件DN≥KL N≥LlogK/logD DMS的等长编码 NlogD≥LH(U) H(U)是统计平均值，L达到无限时，一个具体的源输出序列的平均每符号的信息量才等于H(U) 选L足够长，使 NlogD≥L[H(U)+eL] 弱、强e典型序列集 信源划分定理 编码速率和等长编码定理 R=(1/L)logM=(N/L)logD, M为码字总数 对于给定信源和编码速率R以及任意e0，若有L0,以及编译码方法，使得LL0,错误概率小于e，R是可达的 等长编码定理 RH(U),R是可达的，RH(U)是不可达的 编码效率h=H(U)/R 3.3 DMS的不等长编码 平均码长 几个定义 唯一可译码 逗点码，无逗点码 字头或前缀 异字头码或异前缀码 树码，满树，非满树，全树 树码构造异字头码 例子 Shannon－Fano编码 D元码 每次信源符号化为概率近似相等的D个子集 这样可以保证D个码元近似等概，每个码字承载的信息量近似最大，码就近似最短。 理想情况I(ak)=nklogD, p(ak)=D-nk Kraft不等式 不等长编码定理 3.4最佳不等长编码 两个定理 1.对于给定信源，存在最佳唯一二元可译码，最小概率的两个码字码长相等且最长，他们之间仅最后一位不同 2. 对辅助集为最佳的码，对原始集也是最佳的 Huffman编码 例(0.20,0.19,0.18,0.17,0.15,0.10,0.01) 第三章结束 * * 0 01 011 0111 0 10 110 111 0 1 00 11 0 0 1 10 0.5 0.25 0.125 0.125 a1 a2 a3 a4 码D 码C 码B 码A 概率 信源字母集 *