编码理论第1章.pptVIP

第1章 绪论 吉林大学通信工程学院电子工程系---田丽华 第1章 绪论 1.1 信息传输系统 1.1.1信息传输的目标 1.1.2信息传输系统模型 1.2 信息传输系统的发展、研究目标与现状 1.2.1 信息论的形成与发展 1.2.2 信源压缩编码的发展及研究目标 1.2.3 信道纠错编码的发展及研究目标 1.2.4 密码编码学的发展及研究目标 1.2.5 组合编码的发展及研究目标 1.2.6 信息论方法的应用及现状 第1章 绪论 美国数学家香农(C．E．Shannon)在1948年发表的著名论文“通信的数学理论”，开创了一门在现代科学技术中具有重大意义的崭新的学科—信息论。 1.1 信息传输系统 1.1.1 信息传输的目标 有效性 可靠性 保密性 认证性 经济性 1.1.2 信息传输系统模型 为了便于研究信息传输和处理的共同规律，将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，如图1-1所示。通常称它为信息传输系统模型。 该模型按功能可分为五部分 信源 编码器 信道 译码器 信宿 1．2信息传输系统的发展、研究目标与现状 1.2.1信息论的形成与发展 从历史上看信息论的形成是两部分人共同努力的结果，一部分是通信工程方面的学者，另一部分是统计数学家。根据这一实际情况下面分三个方面来介绍信息论的形成与发展。 1.通信技术的理论基础 2. 统计数学的一个分支 3.信号与信息处理的一般理论基础 1.2.2 信源压缩编码的发展及研究目标 1.古典信源编码 (1)无失真信源编码 ①信源统计特性已知 1948年,香农在“通信的数学理论”的论文中，给 出了几个重要而带有普遍意义的结论。即在通信系统中采用适当的编码后能够实现高效率和高可靠性地传输信息。 从无失真信源编码定理出发，1948年，香农在论文中提出并给出了简单的编码方法(香农编码)，1952年，费诺(Fano)提出了一种费诺码，同年霍夫曼(D．A．Huffman)构造了一种霍夫曼编码方法，并证明了它是最佳码。算术码就是一种非块码，它是从整个序列的概率的匹配来进行编码的。 ②信源统计特性未知 通用编码就是在信源统计特性未知时，对信源进行编码，且使编码效率很高的一种码。70年代末，以色列学者A.lempel和J.ziv提出一种语法解析码，习惯上简称LZ码。1977年他们首先提出这种基于字典的方法，1978年他们又提出了改进算法，分别称为LZ77和LZ78。1984年T.A.welch以LZ编码中的LZ78算法为基础修改成一种实用的算法，后定名为LZW算法。LZW算法已经作为一种通用压缩方法，广泛应用于二元数据的压缩。 (2)限失真信源编码 1948年香农在其论文中已体现出了关于率失真函数的思想。1959年他发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。率失真信源编码理论是信源编码的核心问题，是频带压缩及数据压缩的理论基础，直到今天它仍是信息论研究的课题。 2.现代信源编码 虽然经典方法依据了信源本身固有的统计特性和利用人视觉系统的某些特性进行压缩编码，但是利用得还不够充分，且伴随着感知生理以及心理学的发展，人们越来越清楚地认识到：人的视觉感知特点与统计意义上的信息分布并不一致，即统计上需要更多的信息量才能表征特征，对视觉感知可能并不重要。从感知角度来讲，无需详细表征这部分特征。这时，编码技术的研究就突破了传统香农理论的框架，注重对感知特性的利用，使得编码压缩效率得以极大提高，因此称其为现代压缩编码方法。 从经典信源编码理论出发，不难得到信源编码的两种基本途径： 其一是设法改变信源的概率分布，使其尽可能地非均匀，再用最佳编码方法使平均码长逼近信息熵； 其二是联合信源的冗余度也寓于信源间的相关性之中，去除它们之间的相关性，使之成为或差不多成为不相关信源。 基于基本途径一的编码方法有霍夫曼编码、算术编码、游程编码等，其压缩效率都以其熵为极限值; 基于基本途径二的编码方法有预测编码、变换编码、混合编码、矢量量化等，同时也大都受信息熵的约束。 1.2.3 纠错编码发展及研究目标 1950年汉明(R．W．Hamming)发表的论文“检错码与纠错码”是开拓编码理论研究的第一篇论文。1952年费诺给出并证明了费诺不等式，并给出了关于香农信道编码逆定理的证明； 1972年S．Arimoto