信息论与编码知识梳理及课后答案.pptVIP

连续 离散 半连续 按照携带信息的信号的性质 10 在众多的分类原则和方法中，最重 要的就是按照信息性质的分类。 即： 按照性质的不同可以把信息划分成 语法信息、语义信息和语用信息 三个 基本类型。其中最基本也是最抽象的类 型是 语法信息 。也是迄今为止在理论上 研究得最多的类型。香农研究的就是 语 法信息 。 全信息 语法信息 语义信息 语用信息 离散信息 明晰信息 连续信息 模糊信息 语法信息考虑的是事物运动状态和 变化方式的 外在形式 。 当然，按照事物运动的方式，还可 以把信息进一步细分为概率信息、偶发 信息、确定信息和模糊信息。 香农信息论主要讨论的是语法信 息中的 概率信息 ，本书也以概率信息为 主要研究对象。 § 1.3 信息论的起源、发展及研究内容 信息论自诞生到现在不过 50 多年， 在人类科学史上是相当短暂的。但它的 发展和对学术界及人类社会的影响是相 当广泛和深刻的。信息作为一种 资源 ， 如何开发、利用、共享，是人们普遍关 心的问题。 ? 起源 在人类历史的长河中，信息传输和 传播手段经历了五次重大变革： 语言的产生。 文字的产生。 印刷术的发明。 电报、电话的发明。 计算机技术与通信技术相结 合，促进了网络通信的发展。 1 2 3 4 5 1924 年 ， 奈 奎 斯 特 （ Harry Nyquist ） (1889- 1976) 解释了 信号带宽和信 息速率之间的关系。 20 世纪 30 年代， 新的调制方式， 如调频、调相、单边带调制、脉冲编 码调制和增量调制的出现，使人们对 信息能量、带宽和干扰的关系 有了进 一步的认识。 1936 年 ， 阿 姆 斯 特 朗 （ Edwin· Armstrong) 指出增大带 宽 可 以 使 抗 干 扰 能 力 加 强，并根据这一思想提出了 宽频 移的频率调制 方法。 1939 年 ， 达 得 利 （ Homer Dudley ） 发明了 带通声码器 ，指 出通信所需带宽至少同待传送消 息的带宽应该一样。声码器是最 早的语音数据压缩系统。这一时 期还诞生了无线电广播和电视广 播。 ? 1928 年， 哈特莱（ Hartley ） 首先提 出了 用对数度量信息 的概念。 ? Shannon ： Hartley 的工作给 Shannon 很大 的启示 , 他在 1941~1944 年对通信和密码进行 深入研究，用概率论和数理统计的方法系统 地讨论了通信的基本问题，得出了几个重要 而带有普遍意义的结论 : 阐明通信系统传递的对象 : 信息 ； 提出了信息熵的概念 : 信息度量 ； 指出通信系统的中心问题 : 有效 而可靠传递信息 ； 指明了解决问题的方法 : 编码 。 1 2 3 4 ? 香农理论的核心是： 在通信系统中采 用适当的编码后能够实现 高效率 和 高可 靠性 的信息传输 ，并得出了 信源编码 定 理和 信道编码 定理。 以上这些成果 1948 年以 “通信的 数学理论”（ A mathematical theory of communication ） 为题公开发表， 标志着信息论的正式诞生。 维纳 （ Wiener ） 在研究火控系统和 人体神经系统时，提出了在干扰作用下 的信息 最佳滤波理论 ，成为信息论的一 个重要分支。 50 年代，信息论在学术界引起了 巨大反响。 1951 年，美国无线电工程师 协会 （ IRE ） 成立了信息论组，并于 1955 年正式出版了 信息论汇刊 。 1959 年， 香农 发表了“ 保真度准则 下 的 离 散 信 源 编 码 定 理 ” （ Coding theorems for a discrete source with a fidelity criterion ）系统地提出了 信息率 失真理论（ rate-distortion theory ） 。 为信源压缩编码的研究奠定了理论基础 。 60 年代， 信道编码技术 有了较 大发展，使它成为信息论的又一重要 分支。 1961 年，香农的重要论文“双路 通信信道”开拓了 多用户信息理论 的 研究。 70 年代以后，多用户信息论成为 中心研究课题之一。 后来，随着通信规模的不断扩大，人们逐渐意识到 信息安全是通信系统正常运行的必要条件。于是，把 密码 学 也归类为信息论的分支。如今 信息安全 已是网络通信和 电子商务系统中不可缺少的重要环节。 ? 密码编码学是信息安全技术的核心，密码编码学的 主要任务是寻求产生安全性高的有效密码算法和协 议，以满足对消息进行加密或认证的要求。 ? 密码分析学的主要任务是破译密码或伪造认证信息， 实现窃取机密信息或进行诈骗破坏活动。 ? 这两个分支既相互对立又相互依存，正是由于这种 对立统一关系，才推动了密码学自身的发展。 ? 香农在