第3章-无失真信源编码PPT.ppt

第6节 平均码长的界限定理 第6节 平均码长的界限定理 说明：平均码字长度×平均每个码符号最多携带的信息量 ≤平均每个信源符号携带的信息量 说明：平均码字长度小于该量的单义可译码一定可以找到，平均码字大于该量的信源编码效率低。 例 考虑一个信源 X， 发出四种符号的概率分别为：p1=0.5, p2=0.3, p3=0.1 ， p4=0.1。其非延长码编码为 {0,10,110,111}。找出这种编码的平均码字长度及信道的信息率。 第6节 平均码长的界限定理 第6节 平均码长的界限定理 比特/信源符号 信源码符号/信源码字 比特/信源码符号 4、推广到一般情况 假设同时对N个信源符号编码，则得到： 当 时，有： 第6节 平均码长的界限定理 1、说明 Huffman编码是1952年由Huffman提出的一种变长码，它的基本假设前提是：我们事先知道信源发送每种符号的概率。 第7节 Huffman 编码 2、模型 第7节 Huffman 编码 3、二进制Huffman编码步骤 1) 将信源符号按概率的降序排列 2) 将最底端的两个符号连接起来，上面一支标注“0”，下面一支标注“1”。 先假设信源码符号为二进制符号，即： 3) 将两个符号的和的概率作为一个新的合成符号的概率，并将合成符号与剩余的符号按降序排列 第7节 Huffman 编码 4) 重复步骤2)和3)，直到只剩下一个合成符号 5) 从每个符号出发，按顺序读出到末端的所有标注，并将标注序列的逆序作为该信源符号的编码。 第7节 Huffman 编码 第7节 Huffman 编码 例：考虑一个DMS信源，其概率空间为： 信道符号集为X={0,1}.写出这个信源的Huffman编码并求码率。 1) Huffman编码 0 1 0 1 0 1 0 1 1.0 第7节 Huffman 编码 2) 信息率 讨论1：若将两个符号连接起来后，将上支标注“1”而将下支标注“0”。编码是否仍为非延长码？编码效率有何变化？ 第7节 Huffman 编码 结论： 1、将两个符号连接起来后，将上支标注“1”而将下支标注“0”。编码仍为非延长码，编码效率不变。 2、Huffman编码不唯一。 第7节 Huffman 编码 例： 信道符号集为X={0,1}.写出这个信源的Huffman编码并求码率。 例：考虑一个DMS信源，其概率空间为： 1) Huffman编码 第7节 Huffman 编码 s1 s2 s3 s4 s5 s6 s7 0.46 0.30 0.12 0.06 0.03 0.02 0.01 0.12 0.03 0.06 0.24 0.54 0 1 0 0 0 1 1 1 1 1 0 0 1.0 第7节 Huffman 编码 2) 信息率 第7节 Huffman 编码 讨论2：若有两个信源符号概率相同，该如何编码？ 原则： 1、一般情况下相等概率信源符号之间的顺序可随意，得到的编码效率相同。 1、最好将合成符号放在最上面，这样编码得到的码长方差最小。 第7节 Huffman 编码 说明： 信源编码平均码字长度越小越好，平均码长方差越小越好 码长方差定义为： 第7节 Huffman 编码 例：考虑一个DMS信源，其概率空间为： 信道符号集为X={0,1}.写出这个信源的Huffman编码并求码率。 第7节 Huffman 编码 1) Huffman编码 0 1 0 1 0 1 0 1 1.0 编码一：将合成符号放在最上面 第7节 Huffman 编码 第7节 Huffman 编码 2) 信息率 第7节 Huffman 编码 1) Huffman编码 0 1 0 1 0 1 0 1 1.0 编码二：将合成符号放在最下面 第7节 Huffman 编码 第7节 Huffman 编码 2) 信息率 第7节 Huffman 编码 说明： 两种编码的码率相同，但码长方差不同。 第7节 Huffman 编码 4、r进制Huffman编码步骤 1) 将信源符号按降序排列，若信源符号个数q=α(r-1)+r,则直接到步骤2)；若信源符号个数不满足q=α(r-1)+r,则适当增加几个概率为0的虚拟符号，使得总信源符号数满足 q′=α(r-1)+r 先假设信道符号为r进制符号，即： 第7节 Huffman 编码 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第3章 无失真信源编码 第1节 几个概念 第2节 单义可译码 第3节 非延长码及其构造 第4节 单义可译性定理 第5节 编码长度和编码效率 第6节 平均码长的界限定理 第7节