基于模糊积分集成向量积的数据挖掘方法探讨.pdfVIP

基于模糊积分集成向量积的数据挖掘方法探讨 吴冲，陈贤品 哈尔滨工业大学管理学院，哈尔滨（150001 ） E-mail ：wuchong@ 摘 要：支持向量机（SVM ）作为数据挖掘的应用已经成了研究热点，但它多层分类问题 中应有改进之处。基于模糊积分集成向量机方法是在SVM 基础上，用Bagging 技术结合模 糊积分原理对子向量机进行集成的方法，能有效地适用于多分类决策问题。该文首先介绍了 基于模糊积分集成向量机的理论知识，然后将其用于商业银行信用评估模型，论证了其可以 作为一种有效的数据挖掘方法。 关键词：数据挖掘；模糊积分；集成向量机；SVM 1 前言 数据挖掘（Data Mining ）通常又称数据库中知识发现（KDD ），自动的或方便的模式提 取，这些模式代表隐藏在大型数据库、数据仓库或其他大量信息存储中的知识[1] 。数据挖掘 能够发现的模式包括关联规则、特征规则、总结规则、分类预测规则、离散规则、聚类、偏 差分析等。其中最重要的是数据的分类和回归问题。应用于数据的分类和回归问题的方法主 要有决策树、神经元网络、贝叶斯信念网络等。神经元网络等现有的机器学习理论实质上都 是在经验风险最小化原则下提出的，在有限样本的情况下，经验风险最小不一定意味着期望 风险的最小，在有些情况下就会出现过学习和推广性不好等情况，得到的结果不是很理想。 此外，神经元网络还存在网络结构的确定必须依靠经验，容易陷入局部极小点等缺点。 支持向量机[2] （SVM）是在统计学习理论的基础上发展起来的一种新的机器学习方法， 它基于结构最小化原则，有线性可分、线性不可分、非线性三种情况，能有效地解决过学习 问题，具有良好的推广性和较好的分类精确性。正在成为继模式识别和神经元网络研究之后 机器学习领域新的研究热点，并将推动机器学习理论和技术的重大发展。当前，SVM 已被 用于人脸识别、医疗诊断、商业银行信用风险评估[3]等方面。同时，国内外都已经有了把 SVM 应用于数据挖掘的类似研究[4] 。 集成支持向量机[5]是对支持向量机的一种改进应用，它将子支持向量机作为中间层，利 用一定的决策函数得出各自的决策，最后根据集成方法得到输出层。本文中我们运用现运用 较广的模糊积分方法对各个子支持向量机进行集成。基于模糊积分的集成支持向量机方法更 符合现实中的多分类情况，在数据挖掘应用方面会有很好的前途。 2 基于模糊积分的支持向量机集成 2.1 模糊积分原理 [6] 模糊积分是建立在模糊测度上的概念 。 定义 1 令 X 为论域，β是 X 的σ-代数。λ模糊测度是定义 β上的实值集函数gλ ，除满 足模糊测度的有界性、当调性和连续性的基本性质外，还满足如下条件： 若A，B ∈β，A IB =∅,则有 gλ(A UB ) gλ(A) =+gλ(B ) +gλ(C ) +λgλ(A)gλ(B ), λ−1 若 X={x ,x ,…,x }为有限集合，g ：X→[0，1]为一 g 模糊测度，则称 g （{x }）为X 上 1 2 n λ i - 1 - 1 的模糊密度，并记g =g({x })。X 的任何子集的模糊测度均可由该集合的模糊密度得到。 i 定义 2 假设 X 为一有限集，h 为 X 的一个模糊子集，那么 h 在 X 上关于gλ 的模糊积 分定义为： h(x) og (⋅) sup[min(min h(x), g ( A =∩E))] sup [min(a, g ( A =∩F ))