新信息论基础教程 教学课件 焦瑞莉 第一章 绪论.pptVIP

在线教务辅导网： 教材其余课件及动画素材请查阅在线教务辅导网 QQ:349134187 或者直接输入下面地址： 信息论基础教程随书课件 作者：焦瑞莉、李红莲、冷俊敏 版权所有，转载请注明出处 目 录 第一章 绪论 第二章 信源和熵 第三章 信道及信道容量 第四章 离散信源的无失真编码 第五章 信道编码 第六章? 限失真信源编码 第一章 绪论 本章主要内容 信息的概念 香农信息论的内容 信息论发展简史与应用 课程介绍与要求 32学时，专业基础课 香农信息论是本课内容 复习概率知识，结合通信原理有助理解 注重课后习题练习，多讨论 作业占30%，考试占70% 课程介绍与要求 信息概念的定义很多，但直到现在，还没形成完整、明确、为世人所普遍公认的定义。其原因是人们对信息的本质认识还不够。 信息是客观事物状态和特征的反映，具有形式和内容之分。 不同的定义：从不同的侧面，不同的层次上揭示了信息的特性。通常为三类定义：广义信息、技术术语信息和统计信息。 信息的概念 广义信息——是将信息的形式和内容全部包 含在内的最广泛意义上的信息。 其特点：形式和内容的统一。 技术术语信息——计算机所处理的海量对象，如音频和视频数据、文档资料等在技术层面上统称为信息。 其特点：具体形式，不包含内容。 信息的概念 统计信息——可用数学公式严格定义，反映了信息表达形式在统计方面的性质。 其特点：有明确定义的科学名词，它与内容无关，而且不随信息的具体表达式的变化而变化。它独立于形式，反映了信息表达式中统计方面的性质。是统计学上的抽象概念。 香农信息论中定义信息为“用来消除信息接收者某种认识上的不确定性的东西”，即遵循了统计信息的定义。 信息的概念 信息论产生背景 计量信号中信息多少 需要解决的问题： 通信系统中信息传输的效率 信息传输的准确性问题 噪声干扰 频率特性 本质为：信息传输的可靠性与有效性问题。 香农信息论的内容 信息论的主要贡献是： （1）把统计信息定义为“用来消除信息接收者某种认识上的不定性的东西”，并给出了其度量公式———熵和互信息； （2）建立了一些重要的性能界：信源输出的最大可能的信息量，为满足一定失真度的要求所必须传递的最小信息量，信道上的最大可能通过能力等； （3）建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。这就不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段转变为科学。 信道 信源 信宿 通信系统模型 信源 信道 信宿 编码 器 译码 器 消息 信号 噪声 源 干扰 恢复的消息 信号+干扰 通信系统模型 信息的特点： 信息是无形的。 信息是可共享的。 信息是无限的。 信息是可度量的。 信息、消息、信号三者之间的关系 消息是信息的载荷者。消息具有不同的形式：语言、文字、符号、数据、图片等。 构成消息要两个条件： 能被通信双方所理解 可以在通信中传递和交换 同一消息对不同的客体来说可以含有不同的信息量；同一信息可以用不同形式的消息来载荷。 信息、消息、信号三者之间的关系 信号是消息的表现形式，消息是信号的具体内容。 信号是表示消息的物理量，包括声波、光波、电信号、机械信号等。 信息、消息、信号三者之间的关系 信号 信息、消息、信号三者之间的关系 消息 信息 信息论的发展 1948年香农发表《The mathematical Theory of Communication 》开创了信息论 信息论起源于通信的工程问题，广泛地应用于许多领域 香农信息论 信息论的应用 语音信号的压缩 图像信号的压缩 计算机文件的压缩 降低信息传输所需的功率 计算机网中数据传输可靠性的保证 计算机中的容错问题 * 课程介绍与要求：32学时，专业基础课，香农信息论是本课内容；必须复习概率知识，结合通信原理有助理解，注重课后习题练习，多讨论，可看些参考书；作业占20% ，一定计算出具体结果，考试占80%。 香农信息论的内容： 主要讨论的是??? “通信的数学理论” 香农信息论的最大特点是将概率统计的观点和方法引入通信理论的研究之中，揭示了通信系统中传输的对象是信息，并对信息给出了科学的、定量的描写，指出通信系统设计的中心问题是在随机噪声干扰下如何有效而可靠地传送信息，实现这一目标的途径是信源编码和信道编码，并且从理论上证明了可以达到的最佳性能的限度。所有问题的研究都是基于系统模型???，信息、消息、信号三者之间的关系???， 信息的概念：通信系统中传输的对象就是信息。有人把信息定义为“消息给予接受者的新知识”。 对于信息的概念