重庆科创职业学院离散信源无失真编码.pptVIP

第三章 信源编码（一）离散信源无失真编码 3.1 信源及其分类 3.2 离散无记忆信源的等长编码 3.3 离散无记忆信源的不等长编码 3.4 最佳不等长编码 3.1 信源及其分类 信源及其分类 离散信源 …U-2,U-1,U0,U1,U2,…，Ul取自字母表A 无记忆信源: Ul彼此独立 有记忆信源：Ul彼此相关 简单信源： Ul独立同分布 平稳信源，各态历经源 M阶记忆源（有限状态马尔可夫链） 连续信源 时间离散连续源 随机波形源 3.2 离散无记忆源的等长编码 离散无记忆源 字母表A={a1,…,aK},概率p1,…,pK,长为L的源输出序列uL={u1,…,uL}，共有KL种序列 码符号字母表B={b1,…,bD},以码符号表示源输出序列，D元码 等长D元码，不等长D元码 单义可译码，每个消息都至少有一个码字与之对应。 单义可译码存在充要条件DN≥KL N≥LlogK/logD DMS的等长编码 NlogD≥LH(U) H(U)是统计平均值，L达到无限时，一个具体的源输出序列的平均每符号的信息量才等于H(U) 选L足够长，使 NlogD≥L[H(U)+eL] DMS序列的自信息量 弱、强e典型序列集 信源划分定理 典型序列的比例 编码速率和等长编码定理 R=(1/L)logM=(N/L)logD, M为码字总数 定义：对于给定信源和编码速率R以及任意e0，