对单数据库和多数据库中挖掘模式的评价.docVIP

对单数据库和多数据库中挖掘模式的评价 　　摘要：文章从客观和主观两方面分别分析了现有的一些对数据挖掘模式的评价方法，并提出对多数据库中模式评价的两种客观性度量。 　　关键词：数据挖掘；数据库；多数据库；模式评价 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2008)19-30021-02 　　Data Mining Pattern Valuation in Multi-database and Single-database 　　MI Jie, LI Ke 　　(Henan Institute of Engineering, Zhengzhou 450007, China) 　　Abstract: Some measures of pattern evaluation are analyzed from both the objective and subjective point of view respectively. Also two objective measures to evaluate patterns in multi-database are proposed. 　　Key words: data mining; database; multi-database; pattern evaluation 　　 　　1 引言 　　 　　数据挖掘(DM)，又称为数据库中的知识发现(KDD)。根据目前比较公认、完整、深刻和全面的数据挖掘定义――德国Fayyadz等人在1996年发表的论文《From Data Mining to Knowledge Discovery》中提出：数据挖掘是从大量的数据中提取出有效的、新颖的、有潜在价值的、可信的、并能最终被人理解的模式的非平凡的处理过程。从该定义可以看出，数据挖掘得到的模式，评价其度量标准主要包括有效性、新颖性、潜在有用性和最终可理解性[1]。对它们进行综合度量的标准称为模式或规则的感兴趣度，它分为客观感兴趣度和主观感兴趣度。前者的主要根据是模式或规则的形式和数据库中的数据，属于数据驱动；而后者还要考虑用户的参与等人为因素的影响，属于用户驱动。在评价过程中应该综合使用这两种度量标准，比较合理的方法是首先用客观感兴趣度作为第一级过滤器，选出潜在感兴趣的模式，然后再用主观感兴趣度来对它们进行第二级筛选，得到用户真正感兴趣的知识。 　　 　　2 对单数据库挖掘模式的评价 　　 　　2.1 客观评价 　　目前，感兴趣度的研究主要针对规则的客观感兴趣度[2]，客观度量是对用户兴趣的估计。有趣性的客观评价是指规则的有趣性是由规则的具体结构和在数据挖掘过程中所依赖的数据决定的，这种方法主要是在这些规则上应用统计学方法，用定量的数值来判定规则的有趣性，从而避免了人为的主观意见，因此从这个意义上讲，规则有趣性的客观评价是可靠的、有说服力的。 　　一般的，影响规则感兴趣度的数据方面的因素共有三个（假设规则为A=B）： 　　(1)覆盖度(Coverage)：指前件A出现的概率P(A)； 　　(2)完全性（Completeness）：指两者（A与B）同时出现的概率与B出现的概率之比，即P P(A∧B)/P(B)； 　　(3)可信度（Confidence Factor）：指两者（A与B）同时出现的概率与A出现的概率之比，即P(A∧B)/P(A)。 　　Piatetsky-Shapiro提出的规则感兴趣性RI(Rule Interestingness)度量的三个准则为： 　　(1)如果P(A∧B)=P(A)P(B)，那么RI=0； 　　(2)当其它参数固定时，RI随着P(A∧B)的增加单调递增； 　　(3)当其它参数固定时，RI随着P(A)或P(B)的增加单调递减。 　　Magor和Mangano提出了第四个准则： 　　(4)当给定的可信度大于允许的可信度时，RI随着P(A)的增加单调递增。 　　另一个通用的评价规则质量的是规则简洁度。它是用来衡量规则的最终可理解程度的指标。它表现在两个方面：一方面是在规则项的个数上，如果规则项数很多将不利于对这条规则的理解。因此，规则的项数是一个衡量规则简洁性的逆向指标，即规则的项数越多，规则的简洁性越差；另一方面是在规则所包含的抽象层次上，层次越高，它对数据的解释能力越强，也越容易理解；相反则它对数据的解释能力越差，因此也越不容易理解。 　　Symth利用如下函数对规则A=B的简洁性和包含的信息量进行综合度量，考虑了规则的前件A和后件B的概率分布的相似程度，以及用A的出现概率作为前件的简洁性的度量，但是，忽略了P(B)的作用。 　　■ 　　以关联规则为例，支持度和可信度度