随机信息系统属性相关性及在知识约简中的应用.docVIP

随机信息系统属性相关性及在知识约简中的应用 摘要 引入随机信息系统的属性的信息熵，利用属性的信息熵来刻画随机信息系统的属性之间的相关性，提出一种利用属性相关性来进行随机信息系统知识约简的方法并给出基于该方法进行知识约简的算法。 1 引言 信息系统(或数据库系统)的知识发现是人工智能领域研究的主要问题之一，它是从信息系统中识别正确、新颖、有潜在应用价值并最终可为人们所理解的模式的方法。利用粗糙集模型来进行信息系统的知识发现是目前广泛研究和应用的方法，其主要思想是利用已知的知识或信息来近似不精确的概念和现象。信息系统的知识约简(属性约简)是知识发现的一个重要方面，利用Pawlak粗糙集理论对信息系统进行知识约简，已有很多学者进行了研究，得到了许多理论和应用上都比较成熟的方法n卅。但Pawlak提出的粗糙集模型处理的是经典的信息系统，而在实际中数据库系统记录的获取往往有一定的随机性，或者说在这样的信息系统中对象集上有一个概率分布。因此如何在这类数据库系统中进行知识发现，或者说在这类数据库系统中进行知识发现时又会与一般信息系统有什么不同，是一个值得探索的课题。信息熵作为一个衡量系统不确定性的指标，自其形成以来，在通讯、决策系统、统计力学、经济和人工智能等诸多领域已得到了广泛的应用。本文利用信息熵理论来讨论信息系统的知识约简。首先引进基于随机信息系统的属性的信息熵、联合熵、条件熵、交互熵等概念。利用信息熵定义属性的重要性和属性间的相关性等刻画属性特征的指标。给出利用以上概念进行随机信息系统的知识约简的一种新方法，并给出了基于这个方法进行知识约 简的—个算法。 2 随机信息系统中属性的信息熵 信息系统(或称数据库系统)是一个四元组其中是对象集合,；是属性集合，；是属性值集合，是属性的值域；是— 个信息函数，它指定中每个对象的属性值。如果属性集为，其中称为条件属性集，称为目标属性集，则称之为目标信息系统；对—个信息系统，如果上有正规概率分布，即则称之为随机信息系统，记为。 在一个随机信息系统中，对给出如下的概率分布： … … 其中是属性取值的概率。 同样可定义属性和的联合概率分布和条件概率分布如下： … … … … 其中， … … … … 其中 类似地，可定义两个属性子集的联合概率分布和条件概率分布。并且容易知道以上概率分布有以下的特点：当时，和联合概率分布与和联合概率分布相同，等于的概率分布；和的条件 概率分布与和的条件概率分布相同。如果属性子集有相同的概率分布，则它们的联合概率分布也与有相同的概率分布。 当属性值是数值时，以上可看作是随机变量的概率分布。于是，对属性，可决定一个随机变量，以下将这样的随机变量仍记作，而属性集则可决定一个维随机向量，以下也将之简记为。对。如果和有相同的分布，则称在中是非必要的，否则称在中是必要的。中所有必要属性之集称为的核，记为。如果中所有的属性都是必要的，则称为必要属性集。 定义2．1 设是—个随杌信息系统，称为的约简当且仅当为必要属性集且和有相同的分布。显然，的约简不一定是唯一的，的全体约简之交即为的核。但是，在一般的随机信息系统中，不一定是数值，从而以上的概率分布一般来说不一定是随机变量的概率分布。因此，应用概率分析的方法来进行随机信息系统的分析就显得有点困难，但由于在香农信息熵理论中用来描述其信源的符号也不一定要求是数值，这样就可以利用香农信息熵理论来对之进行讨论。 定义2.2 在—个随机信息系统中，定义属性的信息熵为： ,此处对数的底通常取为2。 定义属性的联合信息熵为： 定义属性的条件信息熵为： 定义属性的平均互信息为： 以上的定义都可以推广多个属性的情形。由信息熵的定义知以下性贡成立： 性质2.3 (1)当独立时等号成立。 (2) (3) (4) 性质2.4 设是一个随机信息系统，。如果的概率分布满足：，则 且如果上述条件的等式右边至少有两个不为0的加项，则。 证明根据信息熵的递增性有 其中，且当时，等号右边的第个加项不为0。因此，由联合信息熵的定义和以上事实得，且如果所给条件的等式右边至少有两个不为0的加项，则。 推论2.5 设是一个随机信息系统，且与的概率分布不同，则 证明 因为且与的概率分布不同，从而与的概率分布满足性质2．4的条件，所以 例2.6 考虑—个小汽车信息系统(如表1)上有