第7讲——离散无记忆信源等长编码讲解.pptVIP

离散无记忆信源等长编码 第七讲 * * 信源编码基本概念 字母表 信源输出序列 消息集 码字集 集合 码字序列 等长码 不等长码 D元码 唯一可译码 0001 1000 01 11 11 p a4 1/8 a4 001 100 00 00 10 p a3 1/8 a3 01 10 10 11 01 p a2 1/4 a2 1 1 0 0 00 p a1 1/2 a1 码4 码3 码2 码1 码0 码 表 信源符号 出现概率 信源符号 信源编码基本概念 信源编码器 码表 信源 信道 X Y L长序列 N长码字 无失真等长编码 英文电报27个符号,K 27,L 1,D 2 二元编码 每个英文电报符号至少要用5位二元符号编码 实际英文电报符号信源，在考虑了符号出现的概率以及符号之间的依赖性后，平均每个英文电报符号所提供的信息量约等于1.4比特，即编码后5个二元符号只携带约1.4比特的信息量，远小于5比特 最大熵 ，可见编码后的信息传输效率极低。 实 例 信源编码器 码表 信源 信道 X Y L长序列 N长码字 无失真等长编码 几乎无失真编码 几乎无失真等长编码 选择L足够长，使 其中， 为与L有关的正数，且当 时有 ,才能不损失信息。然而这样的编码不总能保证单义可译，但非单义可译所引起的错误可渐近为任意小。反之，若 ，编码误差变得任意大。 令信源的熵为 ，