信息论与编码第5章1.pptVIP

第5章 无失真信源编码;将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：;信源编码：在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,以便提高信息传输率。;5.1编码的定义;说明：;二元信道的基本符号集为{0,1},若将信源通过一个二元信道传输，就必须把信源符号变换成由0,1符号组成的码符号序列，即编码。可用不同的码符号序列，如表; 若把N次无记忆扩展信源的概念加以引申，便可得到N次扩展码。;5.1.2信源变码的分类;信源符号 ;唯一可译码 — 码Ⅰ码 Ⅱ;即时码：无须考虑后续的码符号即可从码符号序列中译出码字，这样的唯一可译码称为即时码。;码树：表示各码字的构成 ;满树： 每个节点上都有r个分枝的树——等长码 非满树： 变长码 用树的概念可导出唯一可译码存在的充分和必要条件;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;综上所述，可将码作如下分类：;定理5.1 对于码符号为X={x1,x2,…xr}的任意唯一可译码，其码字为W1,W2,…Wq，所对应的码长为l1,l2…lq，则必定满足克拉夫特不等式;【例5.1】设二进制码树中X={x1,x2,x3,x4}，对应的l1=1,l2=2,l3=2,l4=3，由上述定理，可得;（2）再观察这些新的尾随后缀是否是某些码字的前缀，再将产生的尾随后缀列出，依此下去，直到没有一个尾随后缀是码字的前缀为止。;5.2 定长码编码定理; 如果对一个简单信源S进行定长编码，那么信源S存在惟一可译码的条件是; 表示SN中平均每个原始信源符号所需要的码符号个数。;定理5.2 设离散无记忆信源;现在用码符号集X={x1,x2,…,xr}对N次扩展信源SN进行长度为l的定长编码，对于 ，只要满足 则当N足够大时，必可使译码差错小于 。;定义5.2设熵为H(S)离散无记忆信源，若对信源的长为N的符号序列进行定长编码，设码字是从r个码符号集中选取l个码元构成，定义R为编码速率（单位：bit/符号），即;当 和 均为定值时，只要N足够大， 均为定值时，只要N足够大，即;【例5.1】设离散无记忆信源概率空间为;对信源符号采用定长二元编码，要求编码效率 ，无记忆信源有 ，因此;5.3 变长码定理;当信源S给定，信源的熵为H(S)，则每个信道码元所携带的平均信息量可以表示为:;定义5.5 对应一给定的信源和一给定的码符号集,若有一种惟一可译码,其平均码长 小于所有其他唯一可译码，则称这种码为紧致码，或最佳码。;5.3.2离散平稳无记忆序列变长编码定理 （香农第一定理）;或 且当N??时，则： ;其中，L为平均码长。此处 L=;【例5.4】设离散无记忆信源的概率空间为;编码效率为;这个码得码字平均长度;用同样的方法可进一步将信源序列的长度增加，L=3或L=4，对这些信源序列X进行编码，并求出其编码效率为;5.4 最佳编码;费诺码和霍夫曼码的编码方法都不惟一；; 1. 香农（Shannon）编码 (1)将信源消息符号按其出现的概率大小依次排列 (2)确定满足下列不等式的整数码长Ki。 ; (3)为了编成唯一可译码，计算第i个消息的累加概率 (4)将累加概率Pi变换成二进制数。 (5)取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。; 例5.4 设信源共7个符号消息，a1、a2 、 a3 、 a4 、 a5 、 a6 、 a7，概率分别为0.20 、 0.19 、 0.18 、 0.17 、 0.15 、 0.10 、 0.01，求香农编码。;信源消息符号ai; 信源熵： 信源符号的平均码长为： 编码效率为：; 香农编码方法特点： 由于ki总是进一取整，香农编码方法不一定是最佳的； 码字集合是惟一的，且为即时码； 先有码字的长度再有码字； 对于一些信源，编码效率不高，多余度稍大，因此其实用性受到较大限制。; 2. 费诺编码方法 费诺编码属于概率匹配编码 (1)将信源消息符号按其出现的概率大小依次排列： (2)将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。; (3)