2014分类与预测.docVIP

分类与预测 分类与预测的基本概念 分类是指把数据样本映射到一个事先定义的类中的学习过程，即给定一组输入的属性向量及其对应的类，用基于归纳的学习算法得出分类。 第一步：建立训练集的分类器 第二步：首先评估分类器的预测准确率，再对新数据预测其类标号 预测可以涉及数据值预测和类标记预测，但预测通常指值预测。 两者的区别是，分类是用来预测数据对象的类标记，而预测则是估计某些空缺或未知值。 例如：银行业务中，根据贷款申请者信息判断贷款者是属于“安全”类还是“风险”类的，这是数据挖掘中的分类任务。 而分析给贷款人贷款量的多少对于银行是“安全”的就是数据挖掘中的预测任务。 决策树分类算法 基本概念 决策树是一个类似于流程图的树结构，采用自顶向下的递归方式； 其中每个内部节点都表示在一个属性上的测试，用矩形表示； 每个分支代表一个测试输出； 而每个树叶节点代表类或类分布，用椭圆表示； 树的最顶层节点是根节点，决策树从根到叶结点的一条路径就对应着一条合取规则，整个决策树就容易转换成分类规则。 决策树算法的两个步骤 决策树生成算法 算法架构Generate_decision_tree。 输入：?训练样本D，有离散值属性表示，元组集合；?Attribute_list，是候选属性的集合；? 输出：一棵决策树 算法描述? ??创建一个节点N；? ??IF ?D 中元组都属于同一类C?THEN???返回N作为叶节点，以类C标记；??? ?IF??attribute_list为空 THEN?? 返回N作为叶节点，标记为D中的多数类；? // 多数表决??? 选择Attribute_list 中具有最高信息增益的属性test_attribute； ?标记节点N为test_attribute；? FOR?test_attribute?的每个输出j //划分元祖并对每个划分产生子树?????? ?? 设Dj是D中满足输出j的数据元组的集合；//一个划分??????? ??IF?Dj为空?THEN?? ???????????? 加一个树叶到节点N，标记为D中的多数类；? ?????????? ELSE? 加一个由Generate_decision_tree(Dj,attribute_list)返回的节点到节点N；? ? ??END FOR????? 返回N? 决策树修剪算法 目的：基本的决策树算法没有考虑噪声，因此生成的决策树完全与训练集拟合。在有噪声情况下，完全拟合将导致过分拟合。剪枝是一种克服噪声的基本技术。 两种基本的剪枝策略： 预先剪枝：在生成树的同时决定是继续对不纯的训练子集进行划分还是停机。 后剪枝：一种拟合—化简的两阶段方法。首先生成与训练数据完全拟合的决策树，然后从树的叶子开始剪枝，逐步向根的方向剪。剪枝时要用到一个测试数据集合，如果存在某个叶子剪去后测试集上的准确度或其他测度不降低，则剪去叶子；否则停机。 信息论原理 a. 信息论简介 1948年由Shannon提出并发展了信息论，以数学的方法度量并研究信息，通过通信后对信源中各种符号出现的不确定程度的消除来度量信息量的大小。他提出了自信息量、信息熵、条件熵、互信息量等一系列概念。 自信息量I()表示之前，收信者对信源发出的不确定性，或者一个消息出现后所带来的信息量，用其概率的负对数来表示，即I()=-logp()，)表示信源发出ai的概率，因此I()是非负值，并且是概率p()的单调递减函数)有两个含义 当事件发生前，表示该事件发生的不确定性。 当事件发生后，表示该事件发生所提供的信息量。 信息熵：自信息量只能反映符号的不确定性，而信息熵可以用来度量信源X整体的不确定性，定义如下： 其中，r为信源X所有可能的符号数，即用信源每发一个符号所提供的平均自信息量来定义信息熵。 条件熵：如果信源X与随机变量不是相互独立的，收信者收到信息Y，那么用条件熵H(X|Y)来度量收信者在收到随机变量Y后，对随机变量X仍然存在的不确定性。设X对应信源符号，Y对应信源符号，P(|)为当Y为时，X为的概率，则有： 平均互信息量：表示信号Y所能提供的关于信源X的信息量的大小，用I(X,Y)表示： b．信息增益计算 在开始的时候只有一颗空的决策树，并不知道如何根据属性将实例进行分类，所以要做的就是根据实例集构造决策树来预测如何根据属性对整个实例空间进行划分。设实例训练集是X，目的是将训练实例分为n类。设属于第i类的训练实例为，X中总的训练实例个数为 ，若记一个实例属于第i类的概率为P()，则： 此时，决策树对划分C的不确定程度为： 若选择测试属性a进行测试，在得知a=的情况下属于第i