第3章离散信源的无失真编码.doc

第3章 离散信源的无失真编码 主要内容 ◆ 等长码与等长信源编码定理 ◆ 变长码与香农第一定理 ◆ 变长码的编码方法 ◆ 离散平稳信源和马尔可夫信源编码定理 3.1 编码器 ， 而码字  表3.1 信源S的两种不同编码码字 信源符号 符号出现概率 码 码 00 01 10 11 1 10 110 000 表3.2 码的二次扩展码 二次扩展信源符号 码字 11 110 1110 000000 图3.2 码树图 3.2 离散无记忆信源的渐近等同分割性 令 然后，把代入中可得 若在所有可能的序列中，有一部分序列其满足 则该序列能满足 即 把满足上式条件的序列称为典型序列，并将典型序列的集合记为G，即 不满足条件 3.3 等长码和等长信源编码定理 表3.3 信源S的两种不同编码码字 信源符号 码 码 00 01 10 11 11 00 10 11 或 根据可得 所以，在满足的条件下，当时，译码错误概率。 即 定理3.2中的条件式可改写成 比特/符号 则 由式 把代入上式，可得 ?比特/信源符号 3.4 变长码 3.4.1 码的分类和主要编码方法 表3.4 信源S的四种不同编码码字 信源符号 符号出现概率 码1 码2 码3 码4 1/2 1/4 1/8 1/8 0 11 00 11 0 10 00 01 1 10 100 1000 1 01 001 0001 3.4.2 克拉夫特不等式和麦克米伦不等式 即项共有项 即项共有项 即项共有项 图3.3 码字序列 （） 式为各项之和，由于都可取中任一值，而又都可取值为。所以相同数值的出现 将上式代入式中，可得 于是有 ， 3.4.3 惟一可译码判断准则 表3.5 码符号集序列 a d eb de b ad d c bb cde bcde ad abb bad deb bbcde 表3.6 码符号集序列 110 0 0 11 100 00 10 3.5 香农第一定理 3.5.1 码的平均长度 比特/码符号 比特/秒 ， 对所有都成立 对所有都成立 对所有都成立 于 令 ： 。 对所有都成立 3.5.2 变长无失真信源编码定理 ??????? 其中 比特/信源符号 =1 二元码符号/信源符号 表3.7 二次扩展信源的编码 二次扩展信源的信源符号 即时码 16/25 1 4/25 01 4/25 001 1/25 000 ??二元码符号/二个信源符号 ??二元码符号/信源符号 =0.926??比特/二元码符号 3.6 变长码的编码方法 3.6.1 香农编码 表3.8 香农编码 信源符号 概率 累加概率 码字长度 二进制 码字 0.20 0.19 0.18 0.17 0.15 0.10 0.01 0 0.2 0.39 0.57 0.74 0.89 0.99 2.34 2.41 2.48 2.56 2.74 3.34 6.66 3 3 3 3 3 4 7 000 001 011 100 101 1110 1111110 （取整） （取整） ?码元/符号 ?比特/符号 图3.4 二进制树图 3.6.2 费诺编码 表3.9 二元费诺码 信源符号 概率 编码 码字 码长 0.30 0 0 00 2 0.22 1 01 2 0.18 1 0 10 2 0.16 1 0 110 3 0.10 1 0 1110 4 0.04 1 1111 4 ?比特/符号 ?码元/符号 表3.10 二元费诺码 信源符号 概率 编码 码字 码长 0.25 0 0 00 2 0.25 1 01 2 0.125 1 0 0 100 3 0.125 1 101 3 0.0625