[理学]第5章信源编码1.ppt

信源编码 信源编码是以提高通信的有效性为目的编码。 通常通过压缩信源的冗余度来实现。 采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。同样多的信息用较少的码率来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性 信源编码 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 信源编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源；对于连续信源，只能在失真受限制的情况下进行限失真编码。本章首先介绍信源编码的相关概念以及信源编码定理，然后描述编码方法。 信源编码（主要内容） 信源编码定理 信源编码概念 香农第一定理 香农第三定理 信源编码方法 离散信源编码 连续信源编码 相关信源编码 变换编码 无失真信源编码－概念 无失真信源编码： 要求精确地复现信源的输出 保证信源的全部信息无损的送给信宿 研究方法： 只考虑有效性，不考虑可靠性 将信道编解码看成一个无噪无损信道 无失真信源编码－要求 衡量编码效果的公式 定长信源编码定理 变长信源编码定理 无失真信源编码器－示意图 解决两个问题： 描述信源的输出，计算它产生的信息量； 表示信源的输出，即信源编码（无失真/限失真） 与信宿对通信质量的要求有关 因为，不考虑抗干扰问题。所以，数学描述比较简单。 无失真信源编码器－输入输出描述 信源符号集X＝[x1,x2,…xn]： 信源编码器的输入，共有n个信源符号。 码符号集Y=[y1,y2,...,ym] ： 共有m个码符号，码符号集中的元素称为码元或者码符号。 码字集合C=[W1,W2,…Wn]： 与信源符号一一对应 编码器的作用： 将信源符号集X中的符号 xi, i=1,2,…,n 变换成由码符号 yj,j＝1,2,…,m 组成的长为 ki 的输出符号序列。 输出符号序列就是码字，与信源符号一一对应。 无失真信源编码－示例 例 设有二元信道的信源编码器，其信源概率空间为 二元信道是常用信道，它的信道基本符号集为{0,1}。若将信源X通过一个二元信道传输，就必须把信源符号xi变换成由0,1符号组成的码符号序列，即进行信源编码。 可用不同的码符号序列，即二元序列Wi使其与信源符号xi一一对应，这样可以有多种二元码，如下表所列 表：多种二元编码 定长码和变长码 根据码长，可分为两类： 定长码： 码中所有码字的长度都相同， 如上表中的码1 变长码： 码字长短不一，即码符号个数不同， 如上表中的码2 L次扩展码 设有信源集合X＝(xi,i=1,2,…,n) 经信源编码后，得到代码组C＝(Wi,i=1,2,…,n)，代码组C是码字Wi的集合，码字Wi,i=1,2,…,n是和原始信源符号xi,i=1,2,…,n一一对应的。 L次无记忆扩展信源概念引伸就可以得到L次扩展码。 信源X的L次扩展信源为XL＝(αj，j＝1,2,…nL)。 其中，L次扩展信源符号为αj,j＝1,2,…,nL， 且αj ＝xj1xj2…xjL。 经信源编码后，相应有CL＝ (Wj ,j＝1,2,…nL)。 其中，码字Wj ,j＝1,2,…,nL是和L次扩展信源CL中信源符号 αj ,j＝1,2,…,nL一一对应的。 二次扩展码实例 二次扩展码实例 码的性质-奇异性 若一种码中的所有码字都互不相同，则称此分组码为非奇异码，否则称为奇异码。 非奇异码只是正确译码的必要条件，因为当码字排在一起时还有可能出现奇异性。 码的性质－奇异性 表中，C1是奇异码，C2是非奇异码。但传送分组码C2时，在信道输出端接收到00时，并不能确定发送端的消息时x1x1还是x3 码的性质－唯一可译性 定义码的L次扩展： 设信源符号xi, i=1,2,…n映射为一个固定的码字Wi, i=1,2,…n。则码αj ＝（xj1，xj2，…xjL）映射为Wj＝（Wj1，Wj2，…WjL）的码称为原码的L次扩展。 定义 一个码若对于任意有限的整数L，其L阶扩展码均为非奇异的，则称之为唯一可译码。 码的性质－即时码 定义 无需考虑后续的码符号即可以从码符号序列中译出码字，这样的唯一可译码称为即时码。 下表中C1 不是即时码，C2 是即时码 即时码的条件 定义 设Wi=Wi1,Wi2,…,Wik为一个码字，对于任意的?≤j≤k,称码符号序列的前j个元素Wi1,Wi2…Wij为码字Wi的前缀。 按照上述定义,有下述命题： 命题 一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。 即时码的条件－证明 充分性 因为如果没有一个码字是其它码字的前缀,则在接收到一个相当于一个完整码字的码符号序列后,便可立即译