数据挖掘十大经典算法.docVIP

数据挖掘经典算法 从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。 决策树学习也是数据挖掘中一个普通的方法。在这里，每个决策树都表述了一种树型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。当不能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另外，随机森林分类器将许多决策树结合起来以提升分类的正确率。 决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。 1.1 决策树的工作原理 决策树一般都是自上而下的来生成的。 选择分割的方法有多种，但是目的都是一致的，即对目标类尝试进行最佳的分割。 从根节点到叶子节点都有一条路径，这条路径就是一条“规则”。 决策树可以是二叉的，也可以是多叉的。 对每个节点的衡量： 1) 通过该节点的记录数； 2) 如果是叶子节点的话，分类的路径； 3) 对叶子节点正确分类的比例。 有些规则的效果可以比其他的一些规则要好。 1.2 ID3算法 1.2.1 概念提取算法CLS 1) 初始化参数C={E}，E包括所有的例子，为根； 2) 如果C中的任一元素e同属于同一个决策类则创建一个叶子节点YES终止；否则依启发式标准，选择特征Fi={V1, V2, V3,……, Vn}并创建判定节点，划分C