信息论（宿菲）信息论基础 第五章.pptVIP

第五章 无失真信源编码 5.1信源编码的相关概念 码序列：信源输出的符号序列，需要变换成适合信道传输的符号序列。 编码：对信源输出的原始符号按照一定的数学规则进行的这种变换称为编码 5.1.1编码器：完成编码功能的器件 信源编码器的输入是信源符号集S={s1，s2，. . .sq}，共有q个信源符号。 同时存在另一符号集X={x1，x2…xr}，共有r个码符号，码符号集X中的元素称为码元或码符号。 编码器的作用就是将信源符号集S中的符号si，i=1，2，…，q变换成由li个码符号组成的一一对应的码符号序列。 编码器输出的码符号序列称为码字，并用wi， i=1，2，…，q来表示，它与信源符号si ，i=1，2，…，q之间是一一对应的关系 码字的集合C称为码，即C={w1，w2，…wq}。信源符号si对应的码字wi包含li个码符号，li称为码字长度，简称码长。 定长码:码中所有码字的长度都相同 变长码：码中所有码字的长短不一，即码字中码符号个数不同 N次扩展码 假定信源符号集为S={s1，s2，…，sq} 2次扩展信源为S={s1，s2，…，sq2} 2次扩展码为C={w1,w2,…,wq2} 5.1.2码的分类 分组码和非分组码 分组码:将信源符号集中的每个信源符号si固定地映射成一个码字wi，这样的码称为分组码。 非分组码:又称树码，编码器输出的码符号通常与编码器的所有信源符号都有关。 2.奇异码与非奇异码 非奇异码：若一种分组码中的所有码字都不相同，则称此分组码为非奇异码，否则称为奇异码。 非奇异码是分组码能够正确译码的必要条件，而不是充分条件。 3.唯一可译码与非唯一可译码 任意有限长的码元序列，如果只能唯一地分割成一个个码字，便称为唯一可译码。 一个分组码若对于任意有限的整数N,其N次扩展码均为非奇异的，则为唯一可译码。 唯一可译码的物理含义：不仅要求不同的码字表示不同的信源符号，而且还要求对由信源符号构成的符号序列进行编码时，在接收端仍能正确译码而不发生混淆 唯一可译码首先是非奇异码，且任意有限长的码字序列不会雷同。 即时码与非即时码 即时码：无需考虑后续的码符号就可以从 码符号序列中译出码字，这样的唯一可译码成为即时码。 收到一个码字后立即可以译码，我们称这种码为逗点码，也是一种即时码，是唯一可译码的一种。 一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其他码字的前缀。 定理5.1一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其他码字的前缀。 充要性： 如果任何一个码字都不是其他码字的前缀， 则在接收到一个相当于一个完整码字的码符号后便可立即译码， 无需考虑其后的码符号。 必要性： 如果设wi是wj的前缀，则在收到相当于wi的码符号序列后还不能立即判定它是一个完整的码字，若想正确译码，还必须参考后续的码符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任何一个码字都不是其他码字的前缀。 5.2定长码 定长非奇异码一定是唯一可译码。 若对一个有q个信源符号的信源S进行定长编码，那么信源S存在唯一可译定长码的条件是 其中，r是码符号集中的码元数，l 是定长码的码长。 5.3变长码及变长编码定理 5.3.1 Kraft不等式和McMillan不等式 Kraft不等式 McMillan不等式 定理5.3 设信源符号集为S={s1,s2,…sq},码符号集为X={x1,x2,…xr},对信源进行编码，得到的码为C= {w1,w2,…wq},码长分别为l1，l2，…lq.即时码存在的充要条件是 这称为Kraft不等式。 充分性： 满足不等式 便可得到即时码。 必要性： 即时码必然满足不等式 即时码必然可以用数图来构造，并且叶子节点不会再生出树枝。我们可取一个有 阶的r叉树且 ，树的第0阶是根，在第 阶 上共有 个节点，于是长为 的码字相当于砍去了该r叉树第 阶上的 个节点，q个码字共砍去第 阶的节点数必小于 即 举例 5.4下面以码字集合的形式给出5种不同的编码，第一个码的码符号集合为{x,y,z},其他各个码都是二进制码 {xx,xz,y,zz,xyz} {000,10,00,11} {100,101,0,11} {01,100,011,00,111,1010,1011,1101} {01,111,011,00,010,110} 对上述5种编码，分别回答下述问题：