信息论与编码_曹雪虹_课件第1章.ppt

本章重点和难点 理解和掌握信息的概念和特征 了解信息论研究的主要内容 理解通信系统的基本结构 理解通信系统中各个结构的作用 信息论简介 21世纪是高度信息化的时代！ 信息论：是一门应用概率论，随机过程和数理统计等方法来研究信息的存取，传输和处理中的一般规律的学科。 主要研究：如何提高信息系统的可靠性，有效性和安全性以使信息系统最优化。 物质 客观世界三大基本要素 能量 信息 信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什麽都不存在，没有能量什麽都不发生，没有信息什麽都没意义。” Information theory 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息。 通信系统三项性能指标： 传输的有效性 传输的可靠性 传输的安全性 有效性 信源代码应尽量短（如摩尔斯电码“点”代表出现频率最高的字母e） ； 信息传输应尽量快；即高的传信率和高的频谱利用率。 可靠性 传输差错要尽量少 ，对数字传输就是要求低的误码率。 安全性 传输的信息不能泄露给未授权人。 　　数字通信的三项基本技术： 　数据压缩 　数据纠错 　数据加密 　　仙农信息论解决了前两项技术的理论问题：提高有效性可通过信源编码来实现，即信源压缩编码，并给出了压缩编码的极限；提高可靠性通过信道编码来实现，并给出实现可靠传输的信息传输速率的极限。所以说，仙农揭示了数据压缩和传输的基本定律。 1945年，香农撰写了 《A Mathematical Theory of Cryptography 》 1949年，以 《Communication Theory of Secrecy System 》 公开发表 这篇文章建立了保密系统的数学理论，对密码学产生了很大的影响。人们认为，是香农的工作才把密码学从艺术变成科学. 1.1 信息的定义与特征 信息的定义 关于信息，不同的学科及不同的角度有不同的解释定义： 1.日常生活中理解为消息、新闻与知识 2.科学家的信息的定义 3.哲学家的信息的定义 由于信息已成为许多专家学者争相研究的对象，而且他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如，“信息是事物之间的差异”，“信息是物质与能量在时间与空间分布的不均匀性”，“信息是收着事先不知道的东西”等等。 如前所述，由于当前还没有一个公认的关于信息的定义，但这并不影响我们对信息的基本特征的认识。信息有许多与物质、能量相同的特征，例如信息可以产生、消失、携带、处理和量度。信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。 1949年，Weaver在《通信的数学》中解释仙农的工作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题） Weaver认为仙农的工作属于第一层，但他又证明仙农的工作是交叉的，对第二、三层也有意义。 信息是认识主体（人、生物、机器） 所感受的和所表达的事物运动的状态和运动状态变化的方式。 把广义信息分成三个基本层次，即语法 信息，语义信息，语用信息，分别反映事物运动状态及其变化方式的外在形式、内在含义和效用价值。 与Weaver对信息的解释基本一致。 信息有许多与物质、能量相同的特征，但也有许多与后者不同的特征。 信息的三个基本层次： 语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息 语法(Syntactic)信息 它是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。象语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为，概率信息、偶发信息、确定信息、模糊信息等。 语义(Semantic) 信息 是事物运动的状态和变化方式