信息论基础第七周.ppt

信息论基础 杜春娟 ducj@scnu.edu.cn QQTel第三章 数据压缩和信源编码  问题的提出 (1) 为什么要进行信源编码 (2) 信源编码的概念 (3) 一些码的定义 (4) 信源编码的方法 人们都希望无失真传送，首先要对信源无差错编码； 数字技术应用越来越多，模拟信源通过数字化变成数字信号传送。 编码的定义分类 编码的定义 二元码：码符号集为X={0,1}，所得码字都是一些二元序列。 定长码/等长码和可变长度码：固定长度的码，码中所有码字的长度都相同，是定长码，即 ki=K(i=1,2,…,n)。 变长码为一组码字中所有码字的码长各不相同，即任意码字由不同长度的码符号序列组成。 奇异码和非奇异码：若信源符号和码字是一一对应的，则该码为非奇异码，即一组码字中所有码字都不相同，即所有信源符号映射到不同的码符号序列。反之为奇异码，即一组码中有相同的码字。 唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码。或者说码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号。 非即时码和即时码：如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码开始接收后才能判断是否可以译码，这样的码叫做非即时码。 举例 [例] 码1：显然不是惟一可译码。x2和x4对应于同一码字“11”，码1本身是一个奇异码。 码2：是非奇异码，不是惟一可译码。当收到一串码符号“01000”时，可将它译成“x4 x3 x1”，也可译为“x4x1x3”， “x1x2x3”或“x1x2x1x1”等，这种码从单个码字来看虽然不是奇异的，单从有限长的码序列来看，它仍然是一个奇异码。 码3：虽然是惟一可译码，但它要等到下一个“1”收到后才能确定码字的结束，译码有延时。 码4：既是惟一可译码，又没有译码延时。码字中的符号“1”起了逗点的作用，故称为逗点码。 前缀条件码/异前置码/异字头码/逗点码/即时码/非延长码：如果一个码的任何一个码字都不是其它码字的前缀。 码4是即时码。 信源编码的方法 信源编码有定长和变长两种方法。 定长编码：码字长度K是固定的，相应的编码定理称为定长信源编码定理，是寻求最小K值的编码方法。 变长编码：K是变值，相应的编码定理称为变长编码定理。这里的K值最小意味着数学期望最小。 定长编码定理 定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl…XL，若对信源长为L的符号序列进行定长编码，设码字是从m个字母的码符号集中，选取K个码元组成Y1Y2…Yk…YK。对于任意ε0，δ0只要满足 (K/L)log2m≥H(X)+ε 则当L足够大时，必可使译码差错小于δ，即译码错误概率能为任意小。反之，若 (K/L)log2m≤H(X)-2ε 则不可能实现无失真编码，而当L足够大时，译码错误概率近似等于1。 定理中的公式改写成 Klog2mLH(X) 不等式左边表示长为K的码符号序列能载荷的最大信息量，右边代表长为L的信源序列平均携带的信息量。所以定长编码定理告诉我们：只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。 定理的一般性证明是通过计算信源符号自信息的均值与方差，把信源消息分成两个互补集合，一个有编码，一个无编码，再利用契比雪夫不等式，求出有编码集合中码字个数的上下限，分别用上限证明正定理部分，用下限证明逆定理部分。 能达到差错率要求,可以证明源序列长度L需满足： 信源熵就H(X)是一个界限/临界值。当编码器输出的信息率超过这个临界值时，就能无失真译码，否则就不行。 信源编码定理从理论上说明了编码效率接近于1，即 的理想编码器的存在性，代价是在实际编码时 取无限长的信源符号(L→∞)进行统一编码。 给定ε和δ用上式规定的L计算所有可能信源消息的概率，按由小到大的次序排列，选用概率较大的消息进行编码，有编码的消息构成一个集合Aε，直到该集合的概率p(Aε)≥1-δ，意味着译码差错概率必小于δ，即完成了编码过程； 只要δ足够小，就可实现几乎无失真译码，若ε足够小，编码效率就接近于1。 说明：定长编码定理是在平稳无记忆离散信源的条件下论证的，但它同样适用于平稳有记忆信源，只是要求有记忆信源的极限熵和极限方差存在即可。对于平稳有记忆信源，定理中的熵应改为极限熵。 编码效率定义: 最佳编码效率: 举 例 [例]设单符号信源模型为 其信息熵为 H(X)=2.55(比特/符号)