信息论与编码--无失真信源编码定理.pptx

信息论与编码（第七讲）──────────────无失真信源编码定理XXX2017年春E-mail：xxxxxxmailto:songpeng@ncut.edu.cn@xxxx.edu.cnDepartment of Electronics and Information, NCUT Song Peng第页目 录第1讲：绪论第2讲：信源及其信息量1—自信息与熵第3讲：信源及其信息量2—平均互信息第4讲：信源及其信息量3—多符号离散平稳信源第5讲：信源及其信息量4—马尔科夫信源第6讲：信源及其信息量5—连续信源第7讲：信源及其信息量6—信源编码定理第8讲：信道及其容量1第9讲：信道及其容量2第10讲：信息率失真函数1第11讲：信息率失真函数2第12讲：习题课1Electronics Engineering Department, NCUT Song Peng第页目 录第13讲：信源编码1第14讲：信源编码2第15讲：信道编码概论第16讲：线性分组码第17讲：循环码第18讲：卷积码第19讲：习题课2第20讲：上机1第21讲：上机2第22讲：上机3第23讲：上机4第24讲：总复习Electronics Engineering Department, NCUT Song Peng第页第二章 信源及其信息量本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。2.1 单符号离散信源2.2 多符号离散平稳信源2.3 连续信源2.4 离散无失真信源编码定理2.5 小结Electronics Engineering Department, XXXX Xxx Xxxx第页2.4 离散无失真信源编码定理2.4.1 问题的提出2.4.2 等长／定长编码定理2.4.3 不等长编码定理2.4离散无失真信源编码定理第页2.4.1 问题的提出(1) 为什么要进行信源编码(2) 信源编码的概念(3) 一些码的定义(4) 信源编码的方法2.4离散无失真信源编码定理第页2.4.1 问题的提出(1) 为什么要进行信源编码 信源的两个重要问题 信源输出的信息量计算问题； 如何更有效地表示信源输出的问题。信源编码就是为了提高通信效率，对信源所发送的消息进行变换的方法之一。 为什么要进行信源编码 人们都希望无失真传送，首先要对信源无差错编码； 数字技术应用越来越多，模拟信源通过数字化变成数字信号传送。2.4离散无失真信源编码定理第页2.4.1 问题的提出(2) 信源编码的概念 信源编码定义：指定能够满足信道特性（适合于信道传输）的符号序列—码序列，来代表信源输出的消息。 编码器：完成编码功能的器件。 离散信源输出的码序列 离散信源输出的消息是由一个个离散符号组成的随机序列 信源编码就是把信源输出的随机符号序列变成码序列2.4离散无失真信源编码定理第页2.4.1 问题的提出(2) 信源编码的概念研究信源编码时，将信道编码和译码看成是信道的一部分，而突出信源编码；研究信道编码时，将信源编码和译码看成是信源和信宿的一部分，而突出信道编码。2.4离散无失真信源编码定理第页2.4.1 问题的提出(2) 信源编码的概念讨论无失真信源编码可以先不考虑抗干扰问题，所以它的数学模型比较简单，如图2.4.0。2.4离散无失真信源编码定理第页2.4.1 问题的提出(2) 信源编码的概念信源符号：编码器的输入是信源符号 X={x1, x2, …, xi, …, xn}信源符号序列：码符号/码元：元素 cj 是适合信道传输的符号， C={c1, c2, …, cj, …, cr} 称为码符号/码元。码字（码符号序列）：码长（码字长度）： li 称为码字Wi 的码长。编码：从信源符号到码符号的一种映射。若要实现无失真编码，这种映射必须是一一对应的，可逆的。2.4离散无失真信源编码定理第页2.4.1 问题的提出(2) 信源编码的概念编码器功能：将信源符号集中的符号 xi（或者长为 N 的信源符号序列）变换成由 cj (j=1, 2, …, r) 组成的长度为li 的序列。2.4离散无失真信源编码定理第页2.4.1 问题的提出(3) 一些码的定义二元码：码符号集为 X={0, 1}，所得码字都是一些二元序列。等长码（定长码）：一组码中所有码字的码长都相同，即： li=L (i=1, 2, …, n)。不等长码（变长码）：一组码字中所有码字的码长各不相同，即任意码字由不同长度的码符号序列组成。2.4离散无失真信源编码定理第页2.4.1 问题的提出(3) 一些码的定义非奇异码：一组码字中所有码字都不相同，即所有信源符号影射到不同的码符号序列。奇异码：一组码中有相同的码字。唯一可译码：码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号。2.4离散无失真