第一讲电磁场与电磁波课件.pptVIP

信息论与编码理论——研究信息传输和信息处理的基础理论 主讲：陈艳 计算机工程系 电话Email:chenyan0811@163.com 教材及参考书目 教材： 王育民、李晖、梁传甲，《信息论与编码理论》，高等教育出版社 参考书目： 1. 傅祖芸，《信息论—基础理论与应用》，电子工业出版社 2. 曹雪虹、张宗橙，《信息理论与编码》，清华大学出版社 3. 吴伟陵，《信息处理与编码》，人民邮电出版社 4. 姜丹，《信息论与编码》，中国科学技术大学出版社 首先了解如下几个问题 1．什么是信息？ 2．信息论的研究范畴 3 ．信息论的形成和发展 1.什么是信息？ 信息至今无确切定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。 所谓广泛性可从以下三方面来理解： 1、客观世界充满着信息： 天上的星体、地下的矿藏，一切客观物质无不具有自己的特征信息。 2、人类离不开信息： 人的五官在不停地感知、接收信息；人的神经系统在不停地传递信息；人的大脑则在不停地处理与决策信息；人与人之间又在不停地交流信息；人活在世上百分之百时间都在自觉与不自觉地与信息打交道。 3、知识、书本是有用信息的积累： 人类依靠知识改造自然，适应自然，靠知识促进社会的发展与进步。 所谓抽象性则是指： 信息是组成客观世界并促进社会发展的最基本的三大 要素之一。 三大要素是：物质、能量与信息。其中物质是基础， 是实体。能量是物质运动的形式。 信息：它依附于物质和能量，但又不同于物质和能量。 没有信息就不能更好地利用物质和能量，人类利用信息 和知识改造物质，创造新物质，提高能量利用效率，发 现新能量形式。信息也是客观存在的，它是人类认识、 改造客观世界的主要动力，是人类认识客观世界的更高 层次。就狭义而言，在通信中对信息的表达分为三个层 次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的 层次。它是一个物理量，是一个载荷信息的实体，可测 量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是 一个物理量，但是可以定量地加以描述，它是具体物理 信号的进一步数学抽象，可将具体物理信号抽象为两大 类型： 1)离散(数字)消息，是一组未知量，可用随机序列来 描述：U=(U1…Ul…UL) 2)连续(模拟)消息，也是未知量，它可用随机过程来 描述：U(t,ω) 信息：它是更高层次哲学上的抽象，是信号与消息的 更高表达层次。三个层次中，信号最具体，信息最抽象。 它们三者之间的关系是哲学上的内涵与外延的关系。 这就是说：信息可以认为是具体的物理信号、数学描 述的消息的内涵，即信号具体载荷的内容、消息描述的 含义。 而信号则是抽象信息在物理层表达的外延；消息则是 抽象信息在数学层表达的外延。同一信息，可以采用不 同的信号形式(比如文字、语言、图象等)来载荷；同一 信息，也可以采用不同的数学表达形式(比如离散或连续) 来定量描述。同样，同一信号形式，比如“0”与“1”可以表 达不同形式的信息，比如无与有、断与通、低与高(电平) 等等。 信号、消息、信息的联系与区别 （1）消息：是包含有信息的语言、文字和图象等。在通讯中，消息是指担负着传送信息任务的单个符号或符号序列。它是具体的，是信息的载体，但不是物理性的。 例：x1—晴天， x2—阴天， x3—雨天， 今天是晴天。 （2）信号：信号是消息的物理体现。为了在信道上传输消息，就必须把信息加载到具有某种物理特征的信号上。信号是信息的载体，是物理性的。如电信号、光信号。 （3）一般人所说的信息多半指消息和情报，其实，它们的内涵是信息。这种混淆，在实践和应用中并无重要妨碍。 2.信息论的研究范畴 （一）基础信息论 它是C.E.Shannon四十年代末期，以客观概率信息为研究对象， 从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题： 1)信源的描述，信息的定量度量、分析与计算。 2)信道的描述，信道传输的定量度量、分析与计算。 3)信源、信道与通信系统之间的统计匹配，以及通信系统的优化 ——Shannon的三个编码定理。 通常把上述范围的信息论称为狭义信息论，又因为它的创始人 是香农，故又称为香农信息论。 （二）工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括：信源编、译码理论及其设计构造方法；信道编、译码理论及其设计构造方法