信息系统中的信息粒与熵理论_梁吉业.pdfVIP

中国科学 E 辑 : 信息科学 2008 年 第 38 卷 第 12 期 : 2048 ~ 2065 SCIENCE IN CHINA PRESS 信息系统中的信息粒与熵理论 ①②* ①② 梁吉业 , 钱宇华 ① 山西大学计算智能与中文信息处理省部共建教育部重点实验室, 太原 030006; ② 山西大学计算机与信息技术学院, 太原 030006 * E-mail: ljy@ 收稿日期: 2007-08-06; 接受日期: 2007-12-26 国家高技术研究发展计划项目(批准号: 2007AA012165)、国家自然科学基金(批准号: 和国家重点基础研究 规划(批准号: 2007CB311002)资助项目 摘要 信息粒度与熵理论是两种有效进行信息系统中不确定性研究的重 关键词 信息系统 , . 要工具 已有许多成功的应用范例 文中研究了不同二元关系下信息系统中 信息粒的刻画和表示, 给出了信息系统中信息粒度的公理化定义, 证实了一 信息粒 些已有的信息粒度度量都是其特殊形式. 发展了信息系统中的熵理论, 证明 信息粒度 熵 了这些熵度量的粒化单调性. 同时, 在信息系统意义下, 建立了信息粒度与 粗糙集 熵之间的互补关系. 这些研究统一了完备信息系统与非完备信息系统中不确 定性度量的相关结果. 粒度计算, 是 Zadeh 于 1996 年首先提出的[1]. 他认为, 人类认知主要基于 3 个主要概念, 即粒度(包括将全体分解为部分) 、组织(包括从部分集成整体)和因果(包括因果的关联). 而粒度 计算是一把大伞, 它覆盖了所有有关粒度的理论、方法论、技术和工具的研究[2~4]. 作为复杂 问题求解的有力工具, 粒度计算在粗糙集理论、概念格、知识工程、数据挖掘、人工智能、机 器学习等领域有着潜在的应用[5~12], 已成为信息科学的研究热点之一. 粒度计算理论的研究主要有 3 个比较成熟的模型: 1) 词计算理论[1,2]、2) 粗糙集理论[13]、 3) 商空间理论[14~16]. 信息粒度主要研究信息系统中信息或知识的不确定性问题. Wierman 提出了粒度度量的概 念来度量信息的不确定性, 在其提出的公理化约束下该定义和 Shannon 熵具有同样的形式[17]. 梁吉业等研究了完备信息系统和非完备信息系统中的信息粒度, 并将其成功应用于属性重要 性度量、特征选择与决策规则获取等方面[18~20]. 钱宇华等则引入了具有直观知识含量特征的组 合粒度来度量信息系统中的粒度大小[21]. 熵的概念起源于经典热力学, 用来度量系统的无序程度, Shannon 借用熵的称谓, 定义了 中国科学 E 辑: 信息科学 2008 年 第 38 卷 第 12 期 量化一个离散型随机变量的随机性大小的量度[22], 称之为信息熵或随机熵. 今天, 熵被广泛用 于不确定性度量. Düntsch 运用 Shannon 熵对粗糙集理论中的规则进行度量[23]. 文献[24,25]应 用 S