信息论第5章北理工.ppt

* 如何构成集合F，可以如下进行。 首先，观察码C中最短的码字是否是其他码字的前缀。若是，将其所有可能的尾随后缀排列出。而这些尾随后缀又可能是某些码字的前缀，再将由这些尾随后缀产生的新的尾随后缀列出。然后再观察这些新的尾随后缀是否是某些码字的前缀，再将产生的尾随后缀列出。依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止。这样，首先获得由最短的码字能引起的所有尾随后缀。接着，按照上述步骤将次短的码字、…等等，所有码字可能产生的尾随后缀全部列出。由此得到由码C的所有可能的尾随后缀组成的集合F。 * ［例5.2］ 现设码C={0,10,1100,1110,1011,1101}，根据上述测试方法，来判断是否是为唯一可译码。 因为最短码字为“0”，不是其他码字的前缀，所以它没有尾随后缀。观察码字“10”，它是码字“1011”的前缀所以有尾随后缀11，11的尾随后缀是00，10，01… 所以得，F={11,00,10,01,0,1,100,110,011,101}。可见，F集中“10”和“0”都是码字，故码C不是唯一可译码。 11 10 00 10 01 0 11 1 尾随后缀 码字 * ［例5.3］码C={110,11,100,00,10}。计算其尾随后缀： 故得F={0}。F集中没有元素是码C的码字，所以码C是唯一可译码。 当然，根据这种测试方法，即时码的尾随后缀集F是空集，所以即时码一定是唯一可译码。 10 0 0 0 尾随后缀 码字 11 0 * 唯一可译码的判断方法和步骤 1.首先观察其是否是非奇异码。若是奇异码则一定不是唯一可译码。 2.其次观察其是否满足克拉夫特不等式，若不满足一定不是唯一可译码。 3.将码画成一棵码树图，观察其是否满足即时码的树图的构造，若满足则是唯一可译码。 4.用萨得纳斯和彼特森设计的判断方法，计算出码中所有可能的尾随后缀集合F，观察F中有没有包含任一码字。若无则为唯一可译码；若有则一定不是唯一可译码。 * 设信源 编码后的码字为： 码长为： 则这个码的平均长度为： 平均每个码元携带的信息量即编码后的信息传输率为： （比特/码符号） 若有一个唯一可译码，它的平均码长小于其他唯一可译码的长度，则称此码为紧致码或最佳码，无失真信源编码的基本问题就是寻找紧致码。 第五节 变长信源编码定理 * 定理5.8 无失真变长信源编码定理（香农第一定理） 离散无记忆信源S的N次扩展信源 SN ，其熵为H (SN) ，并且编码器的码元符号集为X={x1,x2,…,xr} 对信源SN 进行编码，总可以找到一种编码方法，构成唯一可译码，使信源S中每个符号所需要的平均码长满足 当 则得： * 这个定理是香农信息论中非常重要得一个定理，它指出，要做到无失真的信源编码，信源每个符号所需要的平均码元数就是信源的熵值，如果小于这个值，则唯一可译码不存在，可见，熵是无失真信源编码的极限值。定理还指出，通过对扩展信源进行编码，当N趋向于无穷时，平均码长可以趋近该极限值。 还可以证明，如果我们不确切知道信源的概率分布，我们用估计的概率分布去进行编码时，平均码长会加长，但是如果估计的偏差不大的话，平均码长也不会增加太多（定理5.9的内容）。 * 由 得： 就是编码后每个信源符号所携带的平均信息量 第一定理可以表述如下：若 就存在唯一可译变长码，若 则不存在唯一可译变长码。 定义： 若从信道角度讲，信道的信息传输率 因为： 所以 当平均码长达到极限值时，编码后信道的信息传输率为： 比特/信源符号 比特/码元符号 * 由此可见，这时信道的信息传输率等于无噪无损信道的信道容量C，信息传输效率最高。因此，无失真信源编码的实质就是对离散信源进行适当的变换，使变换后新的码符号信源(信道的输入信源)尽可能为等概率分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R 达到信道容量C，实现信源与信道理想的统计匹配。这也就是香农第一定理的物理意义。 * 无噪信道编码定理 （无失真信源编码定理） 若信道的信息传输率R 不大于信道容量C，总能对信源的输出进行适当的编码，使的在无噪无损信道上能无差错的以最大信息传输率C 传输信息，若R 大于C，则无差错传输是不可能的。 编码效率： 码的剩余度： 在二元无噪无损信道中： 在二元无噪无损信道中信息传输率： * 例： 其熵为：H(S)=0.811 我们令s1=0，s2=1，这时平均码长 ，编码的效率为