第1章绪论(第2版)详解.ppt

编码理论 授课教师：王珂 所属院系：电子信息工程系 第1章 绪论 1.1 信息传输系统 1.2 信息编码的发展 1.1　信息传输系统1.1.1　信息传输的目标　　研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，从而达到信息传输系统最优化。 可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。注意：提高可靠性和提高有效性常常会发生矛盾，需要统筹兼顾。例如为了兼顾有效性(考虑经济效果)，有时就不一定要求绝对准确地在接收端再现原来的消息，可以允许有一定的误差或一定的失真，或者说允许近似地再现原来的消息。 保密性，就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。认证性，是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，确认消息不是伪造的和被篡改的。 1.1.2　信息传输系统模型 各种通信系统，如电报、电话、电视、广播、遥测、遥控、雷达和导航等，虽然它们的形式和用途各不相同，但本质是相同的，都是信息的传输系统。为了便于研究信息传输和处理的共同规律，将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型。 编码器 分类：信源编码器、信道编码器、保密编码器 信源编码：对信源输出的消息进行适当的变换和处理，把信息变换成信号，目的是为了提高信息传输的效率，使传输更为经济、有效，还要去掉一些与被传信息无关的多余度； 信道编码：对信源编码输出变换，提高抗干扰性，是为了提高信息传输的可靠性而对消息进行的变换和处理； 保密编码：保证信息的安全性，保护系统中所传消息的真实性、完整性。 干扰源 信道中的噪声和干扰，以及为了分析方便起见，把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。 译码器 编码器的逆变换 分类：信源译码器、信道译码器、保密译码器 信宿 消息传送的对象，即接收消息的人或机器。 图1-1给出的模型只适用于收发两端单向通信的情况。它只有一个信源和一个信宿，信息传输也是单向的。 更一般的情况是：信源和信宿各有若干个，即信道有多个输入和多个输出，另外信息传输也可以双向进行，例如广播通信是一个输入、多个输出的单向传输的通信，而卫星通信则是多个输入、多个输出的多向传输的通信。 1.2 信息编码的发展 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 无失真信源编码的研究 限失真信源编码的研究 现代信源编码方法的研究 无失真信源编码的研究 无失真信源编码适用于离散信源或数字信号，如文本数据 不适用于连续信源或模拟信号，如语音图像等 信号的数字处理 在概率特性已知条件下的无失真信源编码 在概率特性未知条件下的无失真信源编码 已知概率特性的无失真信源编码 1948年，无失真信源编码定理，香农编码 1952年，费诺(Fano)码，霍夫曼码(Huffman) 1956年，麦克米伦(McMillan)证明了惟一可译码的克拉夫特(Kraft)不等式 1968年，埃利斯(Elias)，香农-费诺码 1976年，里斯桑内(Rissanen)，算术编码 1982年，里斯桑内和兰登（Langdon），算术编码系统化，省去乘法 无失真信源编码定理 香农第一定理：必然存在一种编码方法，使码的平均长度可任意接近但不能低于信息熵 未知概率特性的无失真信源编码 这时对信源进行的编码称为通用编码 20世纪70年代末，以色列学者兰佩尔(A. Lempel)和奇费(J.Ziv)提出一种语法解析码，习惯上简称LZ码 1977年他们首先提出这种方法，并于1978年作了改进，分别称为LZ77和LZ78算法 1984年，韦尔奇（T.A.Welch)将LZ78算法修改成一种实用的算法，后定名为LZW算法。 1990年，贝尔（T.C.Bell）做了一系列变化和改进，现在LZ码被广泛应用于文本数据压缩 限失真信源编码的研究 通过引入失真，对连续信源进行编码 限失真信源编码实际上就是最佳量化问题，它的研究比信