《信息论与编码》_第5章信源编码.pptxVIP

第5章信源编码

□主要解决两个方面的问题：

1.“信源编码是用尽可能短的编码序列符号来表示原信源序列”,这个“短”,有没有极限?如果有，该极限是多少?

2.用什么方法达到或者接近该极限?;

5.1信源编码的有关概念

5.1.1几个概念

■非分组码和分组码

将长消息序列按顺序分成若于个符号一组，对每

一组独立进行编码，称为分组码；否则称为非分

组码。

■定长码和变长码

若编码后的码字长度都相同，则称为定长码；否

则称为变长码。;

5.1信源编码的有关概念

■奇异码和非奇异码

若编码前的信源组和编码后的码字是一一对应的,则称为非奇异码；否则称为奇异码。

■非唯一可译码和唯一可译码

如果任意有限长的码元序列都只能被唯一地分割成一个个的码字，则称为唯一可译码；否则称为

非唯一可译码。;

5.1信源编码的有关概念

■非即时码和即时码

在接收端接收码元序列的过程中，如果接收到的

码元序列已经组成了一个码字，但接收端并不能立即判断出，还要等下一个码字开始接收的时候才能判断出前者已经是一个完整码字，从而开始译码，则称为非即时码；反之则称为即时码。;

奇异码

非唯一可译码

非奇异码非即时码

唯一可译码

即时码(非延长码)

5-1编码的分类;

5.1信源编码的有关概念

例5-1表5-1中的分组码1、码2、码3、码4和码5,从

上述的4个方面分别判断属于什么类型的码。

表5-1码的不同属性;

5.1.2克劳福特不等式

唯一可译码存在的充分和必要条件

各码字的长度K;应符合克劳夫特不等式：

2

其中m是进制，n是信源可能取值的符号数。;

例：设对符号集{u,=1,2,3,4进行二进制编码；

(1)对应的码长分别为K?=1,K?=2,K?=2,K?=3试判断是否存在这样的唯一可译码；

(2)若K?=1,K?=2,K?=3,K?=3又如何?

答：(1)由克劳福特定理可得：

2=21+22

因此不存在满足这种码长的唯一可译码。;

(2)由克劳福特定理可得：

2=

因此满足这种码长的唯一可译码是存在的，例如{0,10,110,111

克劳夫特不等式只是用来说明唯一可译码是否存在，

并不能作为唯一可译码的判据。例如，{0,10,010,111};

5.2信源编码定理

□无失真信源编码定理

定长信源编码定理

变长信源编码定理

■限失真信源编码定理;

nL种M=m种

K,logim

■用Y表示L长的信源序列X,送出一个信源符

号所需要的信息率

编码目的：使最小。;

无失真信源编码定理研究的内容：

□最小信息率为多少时，才能得到无失真的译码?

□若小于这个信息率是否还能无失真地译码?;

1.无失真定长信源编码定理：

□无记忆乎稳信源平均符号熵为H?(Y),对任意0,δ0,只要

则当L足够大时，必可使译码差错概率小于δ;

即可实现几乎无失真编码；

反之，当n≤H,(X)-2c时，译码差错

一定是有限值，而L足够大时，译码几乎必定出错。;

说明：

K,logmLH,(X)=H(X)

■码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，当然条件是工足够大。

■反之，当H,(X时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端泽码时差错概率趋于零。

□当K=H,(X)时，则为临界状态，可能无失真，也可能有失真。;

问题：

L,c,δ三者之间有什么关系?对于给定的和δ,多大的L算足够大?

式中o(X)=E{[I(x)-I(X)2为信源序列的自信息

方差，ε为一正数。当σ2(X)和ε2均为定值时，只要L

足够大，P可以小小于任一正数δ。即;

讨论：

□如果给定差错概率上界δ,则越小，要求的编码长度L就越大。L越大，编码器越复杂，且时延越大，在有时延要求的场合，往往难以满足实时性要求。

□增加ε,可以减小对编码长度L的要求，但以牺牲编码效率为代价：;

例题5-3:

设离散无记忆信源概率空间为

x?x?x?xX?x?X?X8

0.40.180.10.10.070.060.050.04

若要求编码效率为90%,译码差错概率δ≤10-6

试求所需要的编码序列长度L。

55;

例题5-3:

自信息方差为：

σ2(X)=E{[L(x)-H(X