ch离散无记忆信源的无损编码.pptVIP

第3章 离散无记忆信源的 无损编码 离散无记忆信源的等长编码 输出字符表A={a1,…,aK},概率{p1,…,pK}。 长度为L的信源源输出序列uL={u1,…,uL}， 共有KL种序列。 编码字符表B={b1,…,bD}。 长度为N的编码字符序列—码字，共DN个码字。 要求： 离散无记忆信源的等长编码 Shannon等长信源编码定理 熵为H(U)的离散无记忆信源，对信源输出长度为L的输出序列进行编码，假设编码字符表有D个符号，则当 时，信源可以实现无损编码。反之若 则不存在无损信源编码。 离散无记忆信源的等长编码 等长编码的编码速率和编码效率 离散无记忆信源的不等长编码 非奇异码 唯一可译码 即时码 异字头码 离散无记忆信源的不等长编码 Kraft不等式 存在长度为为n1，n2，…，nK的D元异字头码的充要条件为 定理：唯一可译码满足Kraft不等式 离散无记忆信源的不等长编码 Shannon不等长信源编码定理 离散无记忆信源的不等长编码 扩展信源(UL)的信源编码定理 离散无记忆信源的不等长编码 平均码长 离散无记忆信源的不等长编码 不等长编码的编码速率和编码效率 Huffman编码 二元Huffman编码步骤： 将信源的K个符号按概率递减次序排列。 将两个概率最小的信源符号合并成一个新符号，新符号的概