信源编码定理.ppt

第5章 信道—信源编码定理 一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。 信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。 当信源与信道相连接时，其信息传输率并未达到最大. 希望能使信息传输率越大越好，能达到或尽可能接近于信道容量, 信息传输率接近于信道容量只有在信源取最佳分布时才能实现。 由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。 * 通用通信系统 其中：编码器包括信源编码和信道编码两个部分； 译码器包括信道译码和信源译码两个部分； 信道为有噪信道。 信道编码 给定信道输入符号集AX； 给定信道输出符号集AY； 对每个输入符号x，存在一个非负实数b(x)，为传输x的代价。 定义n阶容量—代价函数： 信道的容量—代价函数： 信道编码定理（香农第二定理）： 信源编码 给定信源符号集AU； 信宿符号集AV； 失真测度d(u,v)； K阶率失真函数： 信源的率失真函数： 信源编码定理（香农第三定理） 香农第三定理是一个存在定理，至于如何寻找这种最佳