第三章-无失真信源编码分析.ppt

* * * 第三章 无失真信源编码 适用于离散信源或数字信号 适用于连续信源或模拟信号 信源编码的分类? 为什么要对信源进行编码? 由于信源符号之间存在相关性和分布不均匀，使得信源存在冗余度。 （1）信源输出符号间的依赖关系使得信源熵减小，这就是信源的相关性。相关程度越大，信源的实际熵越小，越趋近于极限熵 ；反之，相关程度减小，信源实际熵增大。 （2）实际信源的符号分布概率不是均匀的，这使得实际的信源熵总是小于最大熵 。 也就是说，实际发送的消息总是包含有无用的信息。信源包含有冗余。 信源无失真编码的主要任务就是减少冗余，提高编码效率。 具体说，就是针对信源输出符号序列的统计特性， 寻找一定的方法把信源输出符号序列变换为最短的码字序列。 信源编码的基本途径 是什么? 信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 信源编码的基础是什么? 信源编码的基础是：两个编码定理，即无失真编码定理和限失真编码定理。 1）无失真编码是可逆编码，即信源符号转换成代码后，可从代码 无失真的恢复原信源符号。只适用于离散信源。 2）对于连续信源，编成代码后就无法无失真地恢复原来的连续值， 因为后者的取值可有无限多个。此时只能根据率失真编码定理在 失真受限制的情况下进行限失真编码 说明： 编码定理表明： （1）必存在一种编码方法，使代码的平均长度可任意接近但不能低于极限熵 （2）达到这一目标的途径，就是使概率与码长匹配。 3.1编码定义 3.2信源冗余度 3.3无失真信源编码 定长编码定理 变长编码定理 最佳编码 编码器可以看作这样一个系统，它的输入端为原始信源U，其符号集为U:{u1,u2,…,uq}；而信道所能传输的码元符号集为X:{x1,x2,…,xr}；编码器的功能是用码元符号集X中的元素，将原始信源的符号ui变换为相应的码字符号Wi，(i=1,2,…,q)，所以编码器输出端的符号集为W:{W1,W2,…,Wq}。 3.1 编码定义 信源消息U=(u1,u2,…, uq) 码符号集X=(x1,x2,…, xr) 将 ui Wi ＝（ w1,w2,…,wq）其中某一码字 wi∈{x1,x2,…xr} 这种一一对应变换称为信源编码。 1 信源编码： 若Li为码字Wi中的码元个数，则 Li称为码字Wi的长度， 简称码长。 将信源消息分成若干组，即符号序列ui，ui=(ui1,ui2,…,uil,…,uiL) 序列中的每个符号取自于同一个符号集A， uil∈(a1,a2,…,an)。 而每个符号序列ui依照固定的码表映射成一个码字Wi，这样的码称为分组码。只有分组码有对应的码表。 分组码定义： 如果每次只传送一个符号，即序列长度L＝1 要将这样 的符号进行传输，常采用二元信道，码符号集X为{0,1}。若将信源在该信道上传输，需把信源符号变换成0，1符号组成的码字序列。 ui=ui1∈(a1,a2,…,an) 例： 信源符号 信源符号出现概率 码表 a1 a2 a3 a4 p(a1) p(a2) p(a3) p(a4) 00 01 10 11 0 01 001 111 码1 码2 2 码的类型 码 { 非分组码 分组码 { 奇异码 非奇异码 { 非唯一可译码 唯一可译码 { 非即时码 即时码（非延长码） 2.1 码符号集中符号数r＝2称为二元码，r＝3称为三元码 2.2 若分组码中的码长都相同则称为等长码，否则称为变长码 信源符号 信源符号出现概率 码表 a1 a2 a3 a4 p(a1) p(a2) p(a3) p(a4) 00 01 10 11 0 01 001 111 码1 码2 码1是等长码，码2是变长码 2.3 奇异码和非奇异码 若信源符号和码字是一一对应的，即所有码字都不相同，则该码为非奇异码；反之为奇异码。 信源符号 符号出现概率 码1 码2 码3 码4 a1 a2 a3 a4 1/2 1/4 1/8 1/8 0 11 00 11 0 10 00 01 1 10 100 1000 1 01 001 0001 码1是奇异码，码2，码3和码4是非奇异码 2.4 唯一可译码 非奇异码中，任意有限长的码元序列，只能被唯一的译成所对应的信源符号序列，称为唯一可译码。 例如：U: {u1,