6.4联合典型序列与联合渐进等分割定理-Read.ppt

第6章 有噪离散信道编码 　　通信的目的是为了有效地传输信息。 信息论主要研究信息传输的可靠性和有效性问题。 在第4章讨论了信息传输的有效性问题，通过对信源输出的符号进行信源编码可以提高信息传输效率，根据香农第一定理，无失真编码的信息传输率(即信源编码器输出的每个符号平均码长)受到熵的限制，无论采取什么编码方法，信源编码输出的平均码长不小于熵；而对于限失真编码而言，信息传输率受到信息率失真函数限制，即在平均失真一定的条件下，编码输出码率不小于平均失真所对应的信息率。 　　本章讨论通信中的另外一个问题——通信的可靠性，即如何选择译码规则和编码方法减少信道传输中的差错。 这是在香农所写的论文《通信的数学问题》中提出的信道编码定理，也称为香农第二定理。 　　在通信系统中，信道是通信系统的重要组成部分，其任务就是传输信息。 从前面章节的讨论可知，信息是抽象的，不能够直接进行传输，信息的传输是通过信号实现的。 信号在传输的过程中，由于信道中干扰或者噪声的存在，从而使得接收端再现信息与发送端传送的信息不完全一致，产生信息传输错误。 在研究信道编码时，一般使用如图6.1所示的广义信道，称为编码信道。 编码信道由信道编码器、 信道和信道译码器组成。 图6.1 编码信道模型 　　我们知道，离散信道是用信道转移概率描述的，并且可以计算出信道容量C。 为了实现信息的无差错传输，在接收端正确