数据挖掘十大经典算法总结.ppt

数据挖掘十大经典算法总结 内容 ? C4.5 ? The k-means algorithm 即 K-Means 算法 ? Support vector machines ? The Apriori algorithm ? 最大期望（ EM ）算法 ? PageRank ? AdaBoost ? kNN ： k-nearest neighbor classification ? Naive Bayes ? CART ：分类与回归树 C4.5 ? C4.5 算法是机器学习算法中的一种分类决策树算法，其核心算法是 ID3 算法。 C4.5 算法继 承了 ID3 算法的优点，并在以下几方面对 ID3 算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 ? C4.5 算法有如下优点：产生的分类规则易于理解，准确率较高。 ? 其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算 法的低效。 ? 此外， C4.5 只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无 法运行。 The k-means algorithm 即 K-Means 算法 ? k-means algorithm 算法是一个聚类算法，把 n 的对象根据他们的属性分为 k 个分割， k < n 。 它与处理混合正态分布的最大期望算法很相似，因为它们都试图找到数据中自然聚类的中 心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 ? 假设有 k 个群组 S i , i=1,2,...,k 。 μ i 是群组 S i 内所有元素 x j 的重心，或叫中心点。 ? k 平均聚类发明于 1956 年，该算法最常见的形式是采用被称为劳埃德算法 (Lloyd algorithm) 的迭代式改进探索法。劳埃德算法首先把输入点分成 k 个初始化分组，可以是随机的或者 使用一些启发式数据。然后计算每组的中心点，根据中心点的位置把对象分到离它最近的 中心，重新确定分组。继续重复不断地计算中心并重新分组，直到收敛，即对象不再改变 分组（中心点位置不再改变）。 ? 从算法的表现上来说，它并不保证一定得到全局最优解，最终解的质量很大程度上取决 于初始化的分组。由于该算法的速度很快，因此常用的一种方法是多次运行 k 平均算法， 选择最优解。 ? k 平均算法的一个缺点是，分组的数目 k 是一个输入参数，不合适的 k 可能返回较差的结果。 另外，算法还假设均方误差是计算群组分散度的最佳参数。 Support vector machines ? 支持向量机，英文为 Support Vector Machine ，简称 SV 机（论文中一般简称 SVM ）。它是 一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。 ? SVM 的主要思想可以概括为两点： ? 它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入 空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法 对样本的非线性特征进行线性分析成为可能； ? 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化 , 并且在整个样本空间的期望风险以某个概率满足一定上界。 ? 支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平 面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平 面的距离最大化。其假定为，平行超平面间的距离或差距越大，分类器的总误差越小。 The Apriori algorithm ? Apriori 算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段 频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所 有支持度大于最小支持度的项集称为频繁项集，简称频集。 ? 该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最 小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。 然后使用第 1 步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一 条规则的右部只有一项。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度 的规则才被留下来。为了生成所有频集， 使用了递推的方法。 ? 可能产生大量的候选集 , 以及可能需要重复扫描数据库，是 Apriori 算法的两大缺点。 最大期望（ EM ）算法 ? 在统计计算中，最大期望（ EM ， Expectat