第2节 信息资源管理理论基础.ppt

第2章 信息资源管理的理论基础 信息科学 管理科学 信息传播与交流科学群： 2.1 信息科学 申农信息论 系统论 控制论 信息科学 2.1.1申农信息论 信息论可分为狭义信息论、一般信息论、广义信息论三大类。 美国数学家申农是信息论的创始人。他在1948年发表的论文《通信的数学理论》是信息论作为一门独立学科诞生的标志。 ??? 信息论的创始人是美贝尔电话研究所的数学家申农（C.E.Shannon1916——2002），他为解决通讯技术中的信息编码问题，突破发老框框，把发射信息和接收信息作为一个整体的通讯过程来研究，提出发通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。 1、申农通信系统模型 申农通信系统模型 信源 信源：即消息的来源，可以是人、机器、自然界的物体等。信源发出的消息具有随机性，是不确定的。否则，信宿的实得信息为零。如果消息是不确定的，信宿就可以从中获取信息。 编码 编码是把信息变换为信号的措施。分为信源编码和信道编码。 信源编码就是把信源输出的符号序列，用某个给定的字母表中的字母编排成最优的字母序列。 信道编码是把经过信源编码后的字母序列变换为适合在信道中传输的最优信号序列。 信道 即信息传递的通道或传输信息的媒介。 信道容量是信道最多能传输或存储的信息量。 研究信道的目的就是最大限度地增加信道容量或存储量。 噪声 是信息在信道中传输时受到的干扰。 系统内噪声：由于系统自身的原因所产生的干扰。这是一种系统的物理特性，难以全部消除。 系统外噪声：来自系统以外的干扰。包括自然界的雷电、大气辐射或人为发射的干扰等等。可以全部消除。 译码 即把信道输出的编码信号进行反变换，还原为信宿能识别的符号。由于存在噪声，信道输出的编码信号是已含有干扰的信号，所以译码不是简单的编码还原，必须考虑剔除干扰信号的问题。 信宿 即信息的归宿，是信息的接收者。可以是人、机器等。 研究信宿的关键是提高信宿的接收能力。 2、信息资源的度量 （1）基于数据量的信息度量 在计算机信息处理工作中按反映信息内容的数据所占的存储空间的大小来衡量信息量的大小，非计算机处理的信息直接用发行种类和发引量或文本的字数来度量。 一个计算机系统的信息处理量、数据库或信息存储介质的信息存储量常用字节数B、KB、GB来度量。1B=8bit,1KB=1024B(千字节)，1MB=1024KB(兆字节)，1GB=1024MB(千兆字节)。 （2）基于概率的信息度量：揭示了信息与事物状态随机性的本质联系。 在计算信息量之前，把信息接收者采集到的情况称为消息。用一则消息对应于一个事件，事件出现的概率越大，相应的消息所含的信息量越小。 设消息为M，对应的事件为A，A出现的概率为P，则消息M的信息量为： IM = — log P 若以2为底数，所得信息量的单位为比特；以自然数e为底数，所得信息量的单位为奈特；以10为底数，所得信息量的单位称为哈特。 即： IM = — log 2P （比特） = — ln P （奈特） = — lg P （哈特） 平均信息量表示了一个信息源发出信息的总体特征。 3、熵的概念 熵的英文拼写为entropy。它是一个热力学概念。简单的说，熵是一种描述环境混乱程度的量。变混乱是熵增过程，反之是熵减过程。在温度处于绝对零度时（大约在-273℃），任何一种物体的熵等于零。 当你以缓慢的、可逆的、微小的变化使物体进入另一种状态时（甚至因此而使物体改变了物理学或化学的性质，或者分裂为两个或两个以上物理学或化学性质不同的部分），那么，该物体的熵在增加。熵增加的总数是这样计算的：在那个步骤中你必须供给的每一小部分热量，除以供给热量时的绝对温度，然后把所有这些求得的商数加起来。 统计学上，熵是混乱和无序的度量.熵值越大,混乱无序的程度越大. 信息熵 申农定义信息熵为自信息的数学期望，即信源的平均信息量。信息熵表征了信源整体的统计特征，是总体的平均不确定性的量度。由于信息是用来减少随机不定性的东西，它本身是有序的一个量度，所以是“负熵”，用以下公式表示： 应用实例 信息论首先提出了当对数以2为底时得到的不确定性H称为Bit（比特）。即H=log22=1Bit ，即有两个等可能性结局的抽样实验的结局的不确定性恰好是1比特。 对于掷骰子的试验，由于仅有6个不同的结局（k=6），而且每个结局的出现概率都是1/6。所以一次实验的结局的不确定程度H为 H=-(1/6)log2(1/6)-(