信息论chapter1.ppt

信 息 论 教师：贺志强 E-mail: hezq@bupt.edu.cn 课程简介 通信系统设计信息传输的理论基础，为以后的专业学习和应用提供坚实的理论基础和方向性指导； 北邮信息与通信专业的特色专业课，本学院的多位知名教授、学者都是信息论方面的权威，专家； 本课程于2003被评为北京市精品课程。 教学安排 第1章 绪论 2学时 第2章 离散信息的量度 5学时 第3章 离散信源 7学时 第4章 离散信道及其容量 7学时 第9周期中考试 第5章 无失真信源编码 8学时 第6章 有噪信道编码 4学时 第7章 连续信息与连续信源 5学时 第8章 波形信道 5学时 第9章 信息率失真函数 2学时 期末考试 成绩考核 基本概念的理解，基本的计算方法的掌握 平时作业：20％ （必修） 期中考试：20％ （必修） 期末考试：60％ （必修） 另有选作实验，可加分 信息的概念和主要特征 通信系统的模型 仙农信息论概述 信息论的产生与发展 仙农简介与学术风格 §1.1 信息的概念和主要特征 概述 信息的概念和主要特征 信息论的基本内容 物质 客观世界三大基本要素 能量 信息 信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什麽都不存在，没有能量什麽都不发生，没有信息什麽都没意义。” 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息。 通信系统三项性能指标： 传输的有效性 传输的可靠性 传输的安全性 有效性—数据压缩 信源代码应尽量短（如摩尔斯电码“点”代表出现频率最高的字母e） ；信息传输应尽量快；即高的传信率和高的频谱利用率。 可靠性—数据纠错 传输差错要尽量少 ，对数字传输就是要求低的误码率。 安全性—数据加密 传输的信息不能泄露给未授权人。 仙农信息论解决了前两项技术的理论问题：提高有效性可通过信源编码来实现，即信源压缩编码，并给出了压缩编码的极限（熵 H）； 提高可靠性通过信道编码来实现，并给出实现可靠传输的信息传输速率的极限（信道容量 C）。 所以说，仙农揭示了数据压缩和传输的基本定律。 1945年，仙农撰写了 《A Mathematical Theory of Cryptography 》 1949年，以 《Communication Theory of Secrecy System 》 公开发表 这篇文章建立了保密系统的数学理论，对密码学产生了很大的影响。人们认为，是仙农的工作才把密码学从艺术变成科学. 1.1.2 信息的概念和主要特征 由于信息已成为许多专家学者争相研究的对象，而且他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如，“信息是事物之间的差异”，“信息是物质与能量在时间与空间分布的不均匀性”，“信息是收信着事先不知道的东西”等等。 如前所述，由于当前还没有一个公认的关于信息的定义，但这并不影响我们对信息的基本特征的认识。信息有许多与物质、能量相同的特征，例如信息可以产生、消失、携带、处理和量度。信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。 我们采用比较普遍的说法来描述广义信息： 信息是认识主体（人、生物、机器）所感受的和所表达的事物运动的状态和运动状态变化的方式。 信息有许多与物质、能量相同的特征，但也有许多与后者不同的特征。 信息的三个基本层次： 语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息 语法(Syntactic)信息 它是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。象语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为，概率信息、偶发信息、确定信息