系统科学信息学.pptx

信息学 姓名:夏德友 学号:S150602005 学院:理学院 专业:系统科学 目录 系统科学技术的新划分 什么是信息 信息量 信息 熵 通信系统 噪声 系统技术科学的新划分 一.控制学:主要是讲系统成员关系的人为调控以达到系统整体运行的优化。 二.运筹学:在一定外部规范及信息条件下，使系统取得最佳运行的学问。 三.信息学:研究系统成员之间的信息网络建立与优化。 四.事理学:专门研究系统内部各种运行的条件和法律、法规，目的是使系统运行优化。 信息学产生的起源以及研究的核心问题: 最早对信息问题作系统的理论阐述是申农的奠基性著作《通信的的数学理论》，其核心问题是信息的传递，为了传递信息而需要对信息进行编码、译码，以及对付噪声。而在系统科学中讨论信息，重要问题除了信息的传递，还有信息的产生和积累、信息的处理、信息的存取、信息的反馈和控制、无用信息的消除等。 四个部分： 什么是信息？ 信息是人类生存发展须臾不可或缺的东西。有人类的活动，就有信息的获取、传递和利用。反应在认识中，形成相应的概念和术语。随着社会的发展，人们发现信息作为一个科学概念，含义广泛，需要从不同学科层次和角度加以考察。对信息可以作技术的考察，自然科学的考察，或社会科学的考察，或系统科学的考察，或哲学的考察。但除了通信科学，其他方面的信息概述至今尚无统一的定义。 按通信科学要求给信息下定义，首先要弄清信息与消息的定义: 消息 信息 定义 由语言、文字、数字等组成的符号序列 符号序列中包含的内容 1.任何一个文字或符号序列都是一个消息，但同样长的符号序列包含的信息可以不同，并且有意义的符号序列才包含信息。 2.一条消息是否包含信息与消息的接受者的知识状况有关。即得到一条无法理解的消息的接受者并未得到信息。信息是对消息接受者来说是预先不知道的情报即不确定性。 消息与信息的关系: 通信与信息的关系: 1.通信是将信息从发送处传输到接受处的过程。只有当发信者的状态或行为有多种可能情形，才会产生对通信的需求。 2.通信的前提是存在不确定性，通信的目的和功能是消除不确定性。 3.消息中包含的信息具有能够消除收信者的不确定性、增加其确定性的意义和作用。 4.信息是通信中消除了不确定性，通信中增加了确定性。 从通信工程的角度看，所要消除的不确定性主要是消息发生的偶然性，随机性。申农信息是一种统计信息或者是概率信息。 基于通信后的不确定性的情形，申农把信息定义 为两次不确定性之差，即为: 信息=（通信前的不确定性）-（通信后的不确定性） 信息量 信息量是一种抽象量，不能像长度、速度、能量那样用物理方法实际测量。申农从通信的角度把信息的意义和效用等因素撇开，仅仅考察统计不确定性，给予信息量以严格的定义。信息被理解为消除了不确定性，对信息的度量的就归结为对通信中消除了的不确定性的度量。 我们用一个函数形式来表示信息量: 用一个表表示概率 与信息量I的关系 从表中我们可以看出信息量的一个基本特征:消息的包含量是由消息发生概率决定的，概率小则信息量大，概率大则信息量小。 p 大 小 I 小 大 一般地，若A和B为两个相互独立的消息，C代表A和B同时发生的合成消息，即C=AB，则 从上式我们可以看出，信息量的另一个特征，具有可加性。 结合（1）和（2）两式，得到以下精确的定义： 以概率P发生的可能消息A所包含的信息量 是概率P的倒数的对数 例：投掷硬币，消息A代表麦徽朝下，发生的概率为P(A)=0.5，由公式(3)可知 比特 在实际通信中，某个消息传送到接收端后可能仍然是随机事件，没有完全消除不确定性。按照申农把信息定义，实际传送的信息量为： （4） 分别表示先验概率和后验概率。 该式表明，当后验概率为1时，表示传递过程中无信息损失，先验不确定全部消除。后验概率与先验概率相等时，表示信息在全部过程中全部损失，没有消除任何不确定性。一般情况下，处于