信息与编码理论 第2版 课件 4.1 无失真信源编码定理.pptx

第4章信源编码

本章内容：无失真信源编码定理无失真信源编码限失真信源编码定理限失真信源编码

§4.1无失真信源编码定理

4.1无失真信源编码定理编码分为无失真编码限失真编码信源编码信道编码对信源进行编码，就是设计一个编码器，将信源的原始符号按照一定的数学规则进行变换，生成适合于信道传输的符号，通常称为码元（码序列）。我们将离散信源输出信息定义为离散符号集，如下：

4.1无失真信源编码定理我们在给消息分配码字的时候分配多少可以做到无失真译码？码字越多，所需要的信息率就越大，很明显，我们希望信息率越小越好，但是信息率小到多少能保证无失真呢？我们首先要给出关于码的定义。

4.1无失真信源编码定理1.二元码如果码符号集为，所得到的码字都是二元序列，称为二元码。如果将信源通过二元信道进行传输，那么就需要将信源符号转换为由0和1组成的二元码序列，这也是数字图像处理最为常用的一种。2.等长码（定长码）如果一组码中所有码字的长度都相等，我们称之为等长码。3.变长码如果一组码中所有码字的长度都不相同，我们称之为变长码。4.非奇异码如果一组码中所有码字都不相同，即所有信源符号映射到不同的码元序列，它们之间是一一对应的，那么我们称之为非奇异码。

4.1无失真信源编码定理5.奇异码如果一组码中有相同的码字，即所有信源符号映射到相同的码元序列，那么我们称之为奇异码。6.同价码如果码符号集中每个码符号所占用的传输时间都相同，则所得到的码为同价码。一般来讲，二元码都是同价码。7.码的次扩展码假设某码，它把信源中的符号转化成码中的码字，则码的次扩展码是所有个码字组成的码字序列的集合。8.唯一可译码如果码的任意一串有限长的码符号序列只能被唯一的译成所对应的信源符号序列，那么此码称为唯一可译码。否则就称为非唯一可译码。

4.1无失真信源编码定理

4.1无失真信源编码定理

4.1无失真信源编码定理那么最佳编码效率为：该定理也说明，编码信息率大于单符号熵时，可以做到几乎无失真，前提是必须足够大。可以证明，当方差和均为定值时，只要信源序列长度满足：即 译码差错率一定小于任意正数。

4.1无失真信源编码定理

4.1无失真信源编码定理变长编码定理：设离散无记忆信源为编码后码字码长为对唯一可译码来讲，信源符号与码字一一对应，因此码的平均长度为

4.1无失真信源编码定理

4.1无失真信源编码定理

4.1无失真信源编码定理这个定理是香农信息论中非常重要的一个定理，要做到无失真的信源编码，信源每个符号所需要的平均码元数就是信源的熵值，如果小于这个值，则唯一可译码不存在，在译码或反变换时必然带来失真或差错，可见，信源的信息熵是无失真信源编码的极限值。定理还指出，通过对扩展信源进行编码，当趋向于无穷时，平均码长可以趋近该极限值。由可以得到我们定义：香农第一定理就可以表述为：如果就存在唯一可译变长码如果则不存在唯一可译变长码

4.1无失真信源编码定理信道角度讲，信道的信息传输率为由于所以当平均码长达到极限值时，编码后信道的信息传输率为：（比特/码符号）此时，信道的信息传输率等于无噪无损信道的信道容量，编码效率最高，即信息传输率最高。