一类带有模糊算子满意度依赖关联算法.docVIP

一类带有模糊算子满意度依赖关联算法 　　[摘要] 随着经济的迅猛发展，市场信息化和现代化程度的不断提高，信息不确定性的影响越来越大，在数据挖掘中引入模糊逻辑，以及部分不确定性的表达很有必要。本文在引入相似度算子等相关概念，以及对原有的算法进行了相应的模糊改进后，使得原有的带有满意度的依赖关联在保留更多有用的初始信息基础上有了更进一步的修正。 　　[关键词] 数据挖掘 关联规则 模糊逻辑 相似度算子 　　 　　随着经济的迅猛发展，企业信息化的程度不断得以提高，于是，信息不确定性的影响越来越大。数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，尤其是在有关互联网的海量数据搜索，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理、生产控制、市场分析、工程设计和科学探索等。数据挖掘是从大量数据中提取或挖掘知识，而数据挖掘技术则是对一些相关技术的集成，所以数据挖掘的方法也都是基于机器学习、模式识别，以及统计方法等来实现的。当然，不同的技术下的方法得到的知识的表达形式可能是不同的。从知识的表达形式上，可以将数据挖掘分为分类、回归、关联、聚类、概要、发现变化和偏差等等，其中，关联因为其广泛适用性，以及方法的成熟性，成为了最重要的也是应用最为广泛的数据挖掘方法之一，于是，基于关联规则的研究是始终受到关注。 　　自从关联规则的概念由Agrawal等人提出，关联规则在众多领域的应用，如金融、证券市场、气象学、营销、医学、制造业、电子商务等等促使人们对于关联规则的挖掘有了大量的研究。此外，Agrawal及Srikant等人研究发现关联规则是利用Apriori这一典型的有关于挖掘的运算法则来运算的最基本的挖掘方法。除了关联规则之外，另一种普遍关注的关联是功能依赖，它是另外一种兴趣度的关联。功能依赖可以从逻辑上在原先设计好的关系上面假设或者构造。同时，在将数据挖掘看成是一种反转工程的情况下，功能依赖的发现受到了很高的重视。模式关联是第三种关联方式。真正的应用软件中遇到时间序列模式???般会有如下几种情况：生产、销售、经济学，以及股票数据。由于时间序列反映了在连续的因素如时间中的数据变化的演变过程，所以发现时间序列中的关系有比较特殊的作用。通常时间序列模式会有很多方式的彼此相互关联。 　　通常在商务智能或人工智能的知识发现中引入不确定性的描述和表达源自于两个方面的需要:一个是在知识表达和发现中的内在不确定性的需要;另一个是在复杂决策过程中经常遇到的对抽象化概念，以及具有自然语言表达的需要。这两个方面的问题使得在知识发现中引入模糊逻辑，以及部分不确定性的表达很有必要。 　　一、满意度依赖关联 　　依赖关联作为关系数据库理论和应用中的一个重要概念，在知识发现领域的研究非常不够，首先，它对普遍存在于数据库中的噪音不能很好地在挖掘模型中进行处理，从而导致大量有价值的信息的丢失；其次，传统依赖关联概念表达的是一种完全的知识，也就是说对于整个关系都成立的，但是除了诸如此类的强知识之外，有一些在部分程度上成立的知识也是存在并且有意义的。因此一种新的依赖关联的概念――带有满意度的依赖关联就产生了。简而言之，它是通过概率估计来描述某个依赖关联在数据库中成立的程度的。一方面，它能够以满意度来描述某个依赖关联在该数据库中成立的程度，从而能够容纳噪音所带来的问题。另一方面，它能够量化地表达部分成立的知识，并且，由于它通过简单加总来描述满意度的测度，从而得到的结果更具有直观性和易于解释性。这个新的概念有一系列的相关定义及性质的证明。在相关的定义下，关系T不再是完全支持或者只完全不支持某个依赖关联，而是以某个度――满意度――来支持。具体来说，TRUTHT(A→B)就称为依赖关联A→B的满意度，它的含义为关系T支持依赖关联的程度。总得来说，该概念可以容纳噪音并且能够将部分知识量化进行表达和评价，而且和在数据库中挖掘传统关联规则相比，带有满意度的依赖关联具有更加好的理论和数学性质，也具有更容易理解的语义和更重要的价值。 　　二、相似度算子的选择与实现 　　由于很多实际的数据库中的数据是庞杂而凌乱的，基本上没有什么数值完全一致的数据，而根据原有的带有满意度的依赖关联的定义“如果ti(A)≠tj(A)，则TRUTH(ti,tj)(A→B)=1”，那么基本上所有的数据都是可以相互依赖关联的，这样做出的结果是没有任何意义的。所以，为了寻求数据在一定意义上的同一性，我们引入了相似度算子对数据库中同一属性的不同值进行了相似度的计算，然后用相似度作为衡量标准对数据进行进一步的依赖关联上的处理。 　　这里选择e-t作为相似度的算子，其具体的实现方式是对同一属性在不同时期的值做一个差的绝对值运算，然后再对其进