《编码理论简介.pptVIP

第2讲 编码理论简介 编码理论的基本问题 编码理论的发展历史 编码理论的内容和目的 编码理论的课后作业 完 编码理论的基本问题 如何提高一般通信系统的有效性和可靠性 如何提高加密通信系统的安全性 编码问题可以分为三类： 信源编码、信道编码、密码编码 一般通信系统模型 通信系统：电报、电话、电视、广播、遥测、遥控、雷达和导航等 通信系统都可以看作信息传输系统： 加密通信系统模型 什么是信源编码 信源编码的主要目标是提高通信系统的有效性，它通过对信源输出的消息进行适当的变换和处理，以达到提高传输效率的目的 经典信源编码方法主要依据信源本身的固有统计特性 现代编码压缩技术则注重对人类感知特性的利用，使得编码效率得以极大提高 信源编码要求尽量去掉冗余信息 什么是信道编码 信道编码的主要目标是研究如何提高信息传送的可靠性，它通过对信源编码进行适当的变换和处理使其具有自动检错和纠错功能 信道中的干扰使通信质量下降，也就是使信息传送不可靠。对于模拟信号，表现在收到的信号的信扰比下降；对于数字信号，表现在误码率增大 信道编码需要适当增加冗余信息 什么是密码编码 密码编码是通信系统中的另一类编码问题，它的目的是通过加密或隐藏防止非授权用户对重要或机密信息的窃取、伪造和篡改，以保证通信的安全性、真实性和完整性 发送端的明文信息经过编码后成为密文，当授权者收到后，可用已有的密钥正确地译成明文； 对于非授权者，因没有密钥而无法取得该信息，从而保证通信的安全性 编码理论的发展历史 信源编码的发展历史 信道编码的发展历史 密码编码的发展历史 信源编码的发展历史 无失真信源编码的研究 限失真信源编码的研究 现代信源编码方法的研究 无失真信源编码的研究 无失真信源编码适用于离散信源或数字信号，如文本数据 无失真信源编码不适用于连续信源或模拟信号，如语音图像等信号的数字处理 在概率特性已知条件下的无失真信源编码 在概率特性未知条件下的无失真信源编码 已知概率特性的无失真信源编码 1948年，无失真信源编码定理，香农编码 1952年，费诺(Fano)码，霍夫曼码(Huffman) 1956年，麦克米伦(McMillan)证明了惟一可译码的克拉夫特(Kraft)不等式 1968年，埃利斯(Elias)，香农-费诺码 1976年，里斯桑内(Rissanen)，算术编码 1982年，里斯桑内和兰登（Langdon），算术编码系统化，省去乘法 无失真信源编码定理 香农第一定理：必然存在一种编码方法，使码的平均长度可任意接近但不能低于信息熵 克拉夫特(Kraft)不等式 其中r是码元个数，q是码的个数，ni是码长 码元个数的负码长幂之和不超过1 未知概率特性的无失真信源编码 这时对信源进行的编码称为通用编码 20世纪70年代末，以色列学者兰佩尔(A. Lempel)和奇费(J.Ziv)提出一种语法解析码，习惯上简称LZ码 1977年他们首先提出这种方法，并于1978年作了改进，分别称为LZ77和LZ78算法 1984年，韦尔奇（T.A.Welch)将LZ78算法修改成一种实用的算法，后定名为LZW算法。 1990年，贝尔（T.C.Bell）做了一系列变化和改进，现在LZ码被广泛应用于文本数据压缩 限失真信源编码的研究 通过引入失真，对连续信源进行编码 限失真信源编码实际上就是最佳量化问题，它的研究比信道编码和无失真信源编码落后约10年左右 1948年香农在其论文中体现了率失真函数的思想 1959年香农提出率失真函数，限失真信源编码定理 1971年伯格尔《信息率失真理论》 限失真信源编码就是在保证平均失真小于允许失真D的条件下，如何实现最佳编码率R(D) 率失真函数R(D)简介 平均互信息量I(U;V)是信源分布P(U)={p(ui)}和信道矩阵P(V|U)={p(vj|ui)}的函数，即： 设D为允许失真度，对给定信源分布P(U) ，如果把信道矩阵P(V|U)限定在允许失真信道集合BD内选取，那么 I(U;V)所能逼近的最小值就是率失真函数: 限失真信源编码定理 香农第三定理：在信息传输率RR(D) 时，只要有足够的码长，则必然存在一种编码方法，使译码平均失真可以任意接近允许失真D。 其中R(D)是率失真函数，也就是最佳编码率 现代信源编码方法的研究 寻找现有压缩编码的快速算法 寻找新颖高效的现代压缩方法，比如： 分形编码、小波编码 神经网络编码，DPCM编码 模型编码（Model Based Coding） 信道编码的发展历史 信道编码理论的研究 信道容量分析的研究 信道编码方法的研究 网络信息理论的研究 信道编码理论的研究 1948年，香农信道编码定理 1952年费诺(R.M.Fano)证明费诺不等式和香农信道编码逆定理 195