信息论与编码第1章绪论要点分析.ppt

信息论与编码技术 课程主要内容 信息的定义和性质 信道容量 离散无记忆信源无失真编码定理和方法 信道编码定理 线性分组码 第一章 绪论 1.1信息论的形成与发展 信息论 (Information Theory)是通信中的数学理论，是研究信息的传输、存储和处理的科学，它回答了两个根本问题(Fundamental Questions): 数据压缩可以达到何种程度(无损压缩受到熵的限制，而有损压缩受到信息率失真理论的制约)。 通信系统的最大信息传输速率是多少? (不会超过信道容量) 。 信息论主要讨论存在性问题，具有重要的指导意义和实际意义。 信息论的起源 开始于香农(Shannon) 1948年发表的论文“通信中的数学问题”(A Mathematical Theory of Communication)。 香农是信息论的奠基人。 香农的贡献： 1、用概率统计方法对通信系统进行了研究 2、通信系统传递的对象是信息 3、对信息进行了科学的定量描述，提出了熵的概念。 1.1信息论的形成与发展 信息论的基本任务 1948年，shannon论文 “通信中的数学问题” 所提出的基本任务是：设计有效而可靠的通信系统。信息论为通信系统的设计提供理论支持。 1、可靠 使信源发出的消息，经过传输后，尽可能准确无失真、或限失真在收端再现。 度量：误码率