第二章信息论.ppt

第二章 信息论 信息论最初是一种专业性很强的通信理论，主要研究通信领域中的信息的量化问题。后来由于信息的普遍性和信息论的广泛应用，信息论发展成为新兴的边缘学科—信息科学。 信息论是研究信息的产生、识别、获取、传输、存储、处理和利用的理论和技术，主要解决对信息的认识问题，研究信息的描述和度量以及信息传输的理论。 第一节 信息概述 一、信息概念 1、什么是信息 物质、能量和信息是构成客观世界的三大要素。 信息、消息、信号 通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。 信息常以消息的形式表现出来，通过信号传递：信息是消息的内核，消息是信息的外壳；信号只是携带信息，并不是信息本身。 申农信息定义 信息是用来消除不确定性的东西 维纳信息定义 信息就是人和外界相互作用的过程中相互交换的内容总称。 维纳信息定义的改进 信息是控制系统进行调节活动时与外界相互作用、相互交换的内容。 通讯领域 信息是关于客观事物的可通讯的知识。 系统开发领域 信息是经过加工处理的具有特定含义的数据，它对使用者的行为具有现实的或者潜在的价值。 信息论的定义 从客观角度上讲信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。从使用者角度上说信息是关于事物运动状态和方式的知识。 Cognitive – basic idea:K(S) + ΔI = K(S + ΔS) (Brookes) Information when operating on a knowledge structure produces an effect whereby the knowledge structure is changed “Information is differences that make a difference” (Bateson) Actually, it states the problem – “unoperational” in information systems involves mental events only constructivists rejected it Information manifestations (Buckland) Information as a process what someone knows is changed when informed; “the action of informing” (similar as Brookes) refers to cognitive changes + process of doing it Information as knowledge knowledge communicated about x uncertainty removal a special case refers to that which is being communicated - intangible Information as a thing data, documents with quality of imparting information - tangible refers to potential information conveyed from objects Information in information science Information in terms of decision involving little or no cognitive processing signals, bits, straightforward data - e.g.. inf. theory (Shanon), economics, Information involving cognitive processing understanding understanding, matching texts, Brookes Information also as related to context, situation, problem-at-hand USERS, USE,TASK For information science (including information retrieval): third, broadest interpretation necessary 2、信息的基本特征 客观性 知识性 共享性 传播性 时效性 价值性