[信息与通信]编码理论 第1章 绪论第2版.pptVIP

第1章 绪论 1.1 信息传输系统 1.2 信息编码的发展 1.1　信息传输系统1.1.1　信息传输的目标　　研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，从而达到信息传输系统最优化。 可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。注意：提高可靠性和提高有效性常常会发生矛盾，需要统筹兼顾。例如为了兼顾有效性(考虑经济效果)，有时就不一定要求绝对准确地在接收端再现原来的消息，可以允许有一定的误差或一定的失真，或者说允许近似地再现原来的消息。 保密性，就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。认证性，是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，确认消息不是伪造的和被篡改的。 1.1.2　信息传输系统模型 各种通信系统，如电报、电话、电视、广播、遥测、遥控、雷达和导航等，虽然它们的形式和用途各不相同，但本质是相同的，都是信息的传输系统。为了便于研究信息传输和处理的共同规律，将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型。 编码器 分类：信源编码器、信道编码器、保密编码器 信源编码：对信源输出的消息进行适当的变换和处理，把信息变换成信号，目的是为了提高信息传输的效率，使传输更为经济、有效，还要去掉一些与被传信息无关的多余度； 信道编码：对信源编码输出变换，提高抗干扰性，是为了提高信息传输的可靠性而对消息进行的变换和处理； 保密编码：保证信息的安全性，保护系统中所传消息的真实性、完整性。 干扰源 信道中的噪声和干扰，以及为了分析方便起见，把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。 译码器 编码器的逆变换 分类：信源译码器、信道译码器、保密译码器 信宿 消息传送的对象，即接收消息的人或机器。 图1-1给出的模型只适用于收发两端单向通信的情况。它只有一个信源和一个信宿，信息传输也是单向的。 更一般的情况是：信源和信宿各有若干个，即信道有多个输入和多个输出，另外信息传输也可以双向进行，例如广播通信是一个输入、多个输出的单向传输的通信，而卫星通信则是多个输入、多个输出的多向传输的通信。 1.2 信息编码的发展 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 从无失真信源编码定理出发： 1948年，香农在论文中提出并给出了简单的编码方法(香农编码)； 1952年，费诺(Fano)提出了一种费诺码； 1952年，霍夫曼(D．A．Huffman)构造了一种霍夫曼编码方法，并证明了它是最佳码。 1956年，麦克米伦(B．McMillan)首先证明了惟一可译变长码的克拉夫特(Kraft)不等式。 1968年前后，埃利斯(P．Elias)发展了香农―费诺码，提出了算术编码的初步思路； 1976年里斯桑内(J．Rissanen)给出和发展了算术编码; 1982年里斯桑内(J．Rissanen)和兰登(G．G．Langdon)一起将算术编码系统化，并省去了乘法运算，使其更为简化、易于实现。 对概率特性未知或不确知的信源进行有效的编码，上述方法已无能为力。希望能有一种编码方法，通用于各类概率特性的信源。 20世纪70年代就有学者提出通用编码。 1977年齐弗(J．Ziv)和兰佩尔(A．Lempel)提出了LZ算法，它是适用于通用信源的编码算法之—。 1978年齐弗(J．Ziv)和兰佩尔(A．Lempel)又提出了改进算法，而且齐弗也证明此方法可达到信源的熵值。 1990年，贝尔(T．C.Bell)等在LZ算法基础上又做了一系列变化和改进，现在LZ码已广泛应用于文本的数据压缩中。 从率失真信源编码理论出发 1948年，香农在其论文中已体现出了关于率失真函数的思想。 1959年他发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。 1971年伯格尔的《信息率失真理论》是一本较全面地论述有关率失真理论的专著。是信源编码的核心问题，是频带压缩、数据压缩的理论基础。 以上简述了根据香农