离散无失真编码定理.pptx

2.4 离散无失真信源编码定理2.4.1 问题的提出2.4.2 定长/等长编码定理2.4.3 变长编码定理2.4.1 问题的提出信源的两个重要问题信源输出的信息量计算问题；如何更有效地表示信源输出的问题。为什么要进行信源编码人们都希望无失真传送，首先要对信源无差错编码；数字技术应用越来越多，模拟信源通过数字化变成数字信号传送。(1) 信源编码的概念定义：指定能够满足信道特性/适合于信道传输的符号序列/码序列，来代表信源输出的消息。 完成编码功能的器件称为编码器。离散信源输出的码序列离散信源输出的消息是由一个个离散符号组成的随机序列X=(X1X2…Xl…XL)Xl∈{x1,x2,…,xi,…xn}信源编码就是把信源输出的随机符号序列变成码序列Y=(Y1Y2…Yk…YK)Yk∈{y1,y2,…,yj,…ym}研究信源编码时，将信道编码和译码看成是信道的一部分，而突出信源编码；研究信道编码时，将信源编码和译码看成是信源和信宿的一部分，而突出信道编码。讨论无失真信源编码可以先不考虑抗干扰问题，所以它的数学模型比较简单，如图2.4.0。码符号/码元：编码器的输入是信源符号{x1,x2,…,xi,…xn} ，同时存在另一符号 {y1,y2,…,yj,…ym}，一般元素yj是适合信道传输的,称为码符号/码元。编码器功能：将信源符号集中的符号（或者长为L的信源符号序列）变换成由yj(j=1,2, …,m)组成的长度为ki的序列。码字：码符号序列Y=(Y1Y2…Yk…Yki)称为码字。码长/码字长度： ki称为码字长度或简称码长。 编码就是从信源符号到码符号的一种映射。若要实现无失真编码，这种映射必须是一一对应的，可逆的。(2) 一些码的定义二元码：码符号集为X={0,1}，所得码字都是一些二元序列。定长码/等长码：一组码中所有码字的码长都相同，即ki=K(i=1,2,…,n)。变长码：一组码字中所有码字的码长各不相同，即任意码字由不同长度的码符号序列组成。非奇异码：一组码字中所有码字都不相同，即所有信源符号映射到不同的码符号序列。奇异码：一组码中有相同的码字。惟一可译码：码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号。码字与信息率的关系有时消息太多，不可能或者没必要给每个消息都分配一个码字；给多少消息分配码字可以做到几乎无失真译码？传送码字需要一定的信息率，码字越多，所需的信息率越大。编多少码字的问题可以转化为对信息率大小的问题；信息率越小越好，最小能小到多少才能做到无失真译码呢？ 这些问题就是信源编码定理要研究的问题。(4) 信源编码的方法信源编码有定长和变长两种方法。定长编码：码字长度K是固定的，相应的编码定理称为定长信源编码定理，是寻求最小K值的编码方法。变长编码：K是变值，相应的编码定理称为变长编码定理。这里的K值最小意味着数学期望最小。2.4.2 定长编码定理(1) 定长编码定理定长编码定理：一个熵为H(X)的离散无记忆信源X1X2…Xl…XL，若对信源长为L的符号序列进行定长编码，设码字是从m个字母的码符号集中，选取K个码元组成Y1Y2…Yk…YK。对于任意ε0，δ0只要满足 (K/L)log2m≥H(X)+ε 则当L足够大时，必可使译码差错小于δ，即译码错误概率能为任意小。反之，若 (K/L)log2m≤H(X)-2ε 则不可能实现无失真编码，而当L足够大时，译码错误概率近似等于1。定理中的公式改写成 Klog2mLH(X) 不等式左边表示长为K的码符号序列能载荷的最大信息量，右边代表长为L的信源序列平均携带的信息量。所以定长编码定理告诉我们：只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。定理的一般性证明是通过计算信源符号自信息的均值与方差，把信源消息分成两个互补集合，一个有编码，一个无编码，再利用契比雪夫不等式，求出有编码集合中码字个数的上下限，分别用上限证明正定理部分，用下限证明逆定理部分。讨论对于定理中的m代表码序列中每个符号的可能取值数，假定m个取值是等概率的，则单个符号的信息量为 。对于定长编码，每个码字的长度都是K，故码字的总数是mK。若信源是平稳无记忆的，长度为K的码序列的总信息量就等于各符号信息量之和，即：Klog2m代表的是消息的信息量。平均每个符号的信息量，即平均符号熵为K/Llog2m，所以，传送一个信源符号所需的信息率就是K/Llog2m。定长编码定理中的正定理说明，信息量略大于单符号熵时，可做到几乎无失真编码，条件是足够大。可以证明：逆定理说明，信息率比信源熵略小一点（小一个ε）时，译码差错率未必超过任意正数δ，但若比H(X)小2 ε，则译码失真一定大于任意正数δ。 L→∞时，必定失真信源熵就H(X)是一个界限/临界值。当编码器输出的信息率超过