信息度量、无失真信源编码、限失真信源编码.pptVIP

德州学院 信息论与编码基础教程 第一章 教材：信息论与编码基础教程，张丽英 王世祥，清华大学出版社 2010 参考书： 1. 信息论与编码，陈运 周亮 陈新，电子工业出版社，2003 2．信息论与编码， 傅祖芸编著，电子工业出版社，2006 3．信息理论与编码，姜丹 钱玉美编著 4．信息论与编码，吴伯修 归绍升 祝宗泰 俞槐铨编著，1987 香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。因此，它一出现就在科学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争相应用这一理论来解决各自领域的问题．从此，信息问题的研究，进入了一个新的纪元。 香农信息理论的基本思路，大致可归结为以下三个基本观点： 一、非决定论观点 我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地决定它的结果；反过来，只要知道了它的结果，也就可以唯一地决定它的原因。或者，只要知道了某个事物的初始条件和运动规律，就可以唯一地确定它在各个时刻的运动状态。这种观点只承认必然性，排斥、否认偶然性。 根据通信问题研究对象的特点，信息理论按照非决定论的观点，采用了概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更切合实际、更科学、更有吸引力。 二、形式化假说 提出如下的假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息来说是次要因素。因此，在描述和度量作为“通信的消息”来理解的狭义信息时，可以先把语义、语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。 三、不确定性 对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形： 所谓“疑问”、“不知道”，就是一种知识上的“不确定性”，即对某个事情的若干种可能结果，或对某个问题的若干可能答案，不能做出明确的判断。 所以，我们可以把作为“通信的消息”来理解的“狭义信息”，看作(或明确定义)为一种用来消除通信对方知识上的“不确定性”的东西。 不确定性是与“多种结果的可能性”相联系的，而在数学上，这些“可能性”正是以概率来度量的。概率大，即“可能性”大；概率小，“可能性”小。显然，“可能性”大，即意味“不确定性”小；“可能性”小，即意味“不确定性”大。 香农（Shannon，C.E.）于1941～1944年对通信和密码进行了深入的研究，利用概率论的方法研究通信系统，得出了几个重要具有普遍意义的结论，揭示了通信系统传递的对象就是信息，并对信息以科学的定量描述，既信息熵的概念。指出了通信系统的中心问题是在噪声下如何有效而可靠地传送信息，及实现这一目标的主要方法是编码等。 1.4 信息论发展简史 1951年，美国无线电工程师协会（Institute of Radio Engineers，IRE）成立了信息论组，1955年正式出版了信息论汇刊。香农等科学家在其发表了许多重要文章。 1948年香农在论文中提出了无失真信源编码定理，给出了简单的编码方法——香农码。 1952年费诺（Fano，R.M.）和哈夫曼（Huffman，D.A.）分别提出了各自的编码方法，并证明其方法都是最佳编码法。 信息论的发展： 1.4 信息论发展简史 1959年，香农在发表的“保真度准则下离散信源编码定理” （Coding Theorems for a Discrete Source with a Fidelity Criterion）一文中，系统地提出了信息率失真理论和限失真信源编码定理。这两个理论是数据压缩的数学基础，为各种信源编码的研究奠定了基础。 1.4 信息论发展简史 20世纪60年代，信道编码技术有了较大发展，成为信息论的又一重要分支，它把代数方法引入到纠错码的研究中，使分组码技术达到了高峰，找到了可纠正多个错误的码，提出了可实现的译码方法；同时卷积码和概率译码也有了重大突破。 1.4 信息论发展简史 近30多年来，这一领域的研究十分活跃，大量的论文被发表，使多用户信息论的理论日趋完整。近几年，随着计算机技术和超大规模集成电路技术的发展，信道编码，如Turbo码、LDPC等编解码取得了重大突破。Turbo码、LDPC采用长码、交织技术、迭代解码技术进行编解码，从而提高了