信道—信源编码定理.pptVIP

第5章 信道—信源编码定理 一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。 信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。 当信源与信道相连接时，其信息传输率并未达到最大. 希望能使信息传输率越大越好，能达到或尽可能接近于信道容量, 信息传输率接近于信道容量只有在信源取最佳分布时才能实现。 由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。 * 通用通信系统 其中：编码器包括信源编码和信道编码两个部分； 译码器包括信道译码和信源译码两个部分； 信道为有噪信道。 信道编码 给定信道输入符号集AX； 给定信道输出符号集AY； 对每个输入符号x，存在一个非负实数b(x)，为传输x的代价。 定义n阶容量—代价函数： 信道的容量—代价函数： 信道编码定理（香农第二定理）： 信源编码 给定信源符号集AU； 信宿符号集AV； 失真测度d(u,v)； K阶率失真函数： 信源的率失真函数： 信源编码定理（香农第三定理） 香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题： 1、符合实际信源的R(D)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描述 2）需要对符合主客观实际的失真给予正确的描述 3）即使满足了前两条，R(D)的计算也比较困难 2、即使求得很好的R(D)函数，还需要研究采取何种编码方法才能达到极限值R(D)。 例： 要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即 可以设想这样一种信源编码： 无噪无损信道传输 这种编码方法，可以看成是一种特殊的试验信道 信息率为1/3，而平均失真为1/4，根据香农第三定理，若允许失真D=1/4时，总可以找到一种编码，使信息输出率达到极限R(1/4) 信源—信道匹配 信道剩余度定义为： 信道剩余度 = 相对信道剩余度 = 表示信道的信道容量和实际传信率之差。 相对信道剩余度可以用来衡量信道利用率的高低。 在无损信道中，信道容量 C＝logr (r是信道输入符号数)。而I(X;Y)＝H(X)，因而： 无损信道的相对剩余度 = 上式说明提高无损信道信息传输率就等于减少信源的剩余度。 对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。 引入问题：在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配。 [例]某离散无记忆信源 通过一个无噪无损二元离散信道进行传输。 对二元离散信道的信道容量为：C＝1(比特／信道符号) 对本信源的信息熵为 H(X)＝1.937(比特／信源符号) 要使信源在此二元信道中传输，必须对X进行二元编码： 因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。 ? 对于码 (比特／信道符号) 对于码 (比特／信道符号) *