分类和预测决策树概要1.pptVIP

第四章 分类和预测 4.1 分类和预测的定义 4.2 数据分类方法 决策树 神经网络 SVM 贝叶斯网络 4.3 数据预测方法 线性回归 非线性回归 第四章 分类和预测 4.1 分类和预测的定义 4.2 数据分类方法 决策树 神经网络 SVM 贝叶斯网络 4.3 数据预测方法 线性回归 非线性回归 4.1 分类和预测的定义 分类（Classification） 给定一个数据集D={t1, t2, …, tn}和一个类别集合C={C1, C2, …, Cm}，数据分类就是通过定义一个映射f : D?C，为数据集D中的每条数据ti分配C中的一个类Cj。 预测（Prediction） 它是一种特殊的分类，当分类的类别是一个连续值时（可看成无限多类），就是数据预测。 4.1 分类和预测的定义 数据分类和预测的步骤如下： 第一步——建立模型 第二步——使用模型 下面以分类为例，详细介绍这两个步骤。 第四章 分类和预测 4.1 分类和预测的定义 4.2 数据分类方法 决策树 神经网络 SVM 贝叶斯网络 4.3 数据预测方法 线性回归 非线性回归 4.2 数据分类方法 分类过程的数据预处理 分类的评价标准——性能度量 分类的评价标准 假设：给定测试集Xtest={(xi, yi) | i=1, 2, …, N} N表示测试集中的样本个数； xi表示测试集中第i个样本； yi表示样本xi的类标号。 对于测试集的第j个类别，分类结果如下： 被正确分类的样本数量为TPj ； 被错误分类的样本数量为FNj ； 其他类别被错误分类为该类的样本数据量为FPj 。 分类的评价标准 精确度（正确率）：表示测试集中被正确分类的数据所占的比例。 例如：在文字识别中，经常统计识别正确率，以此来表示识别系统的性能。 分类的评价标准 查全率（召回率）：表示在本类样本中被正确分类的样本所占的比例。 查准率（精度）：表示被分类为该类的样本中，真正属于该类的样本所占的比例。 分类的评价标准 F-measure：是查全率和查准率的组合表示。 其中：β是可以调节的，通常取值为1。 第四章 分类和预测 4.1 分类和预测的定义 4.2 数据分类方法 决策树 神经网络 SVM 贝叶斯网络 4.3 数据预测方法 线性回归 非线性回归 决策树 什么是决策树？ 由数据的不同属性逐次划分数据集，直至得到的数据子集只包含同一类数据为止，这样可形成一棵树，称为决策树。 结构上类似于程序流程图； 每个内部结点表示在一个属性上的测试； 每个分枝代表一个测试的输出； 每个叶结点存放一个类标号。 由树的根结点到某个叶结点的属性的合取可形成一条分类规则；所有规则的析取可形成一整套分类规则。 决策树 决策树——分类过程 决策树——分类过程 决策树——分类过程 决策树——分类过程 决策树——分类过程 决策树——分类过程 决策树——属性选择的次序问题 决策树 决策树关注的主要问题： 决策树的生成算法 ID3算法 C4.5算法 决策树的剪枝策略：许多分枝反映的是训练数据集中的噪声和离群点，剪枝试图识别并剪去这种分枝，以提高对未知数据分类的准确性。 先剪枝方法 后剪枝方法 ID3算法 特点：在选择根结点和各个内部结点的分枝属性时，采用信息增益作为度量标准 ，因此每次都会选择具有最高信息增益的属性作为分枝属性。 ID3算法只能处理属性值为离散型的数据集的划分。 ID3算法 给定数据集X = {(xi, yi) | i=1, 2, …, total}。 xi (i=1, 2, ..., total)用d维特征向量xi = (xi1, xi2, ..., xid)来表示，xi1, xi2, ..., xid分别对应d个属性A1, A2, ..., Ad的具体取值； yi (i=1, 2, ..., total)表示样本xi的类标号，假设要研究的分类问题有m个类别，则yi∈{c1, c2, ..., cm}。 假设nj是数据集X中属于类别cj的样本数量，则各类别的先验概率为： 对于数据集X，将其分为m类的期望信息为： ID3算法 计算属性Af划分数据集X所得的熵： 假设Af有q个不同取值，可按q的不同取值将X划分为q个不同的子集{X1, X2, …, Xs, …, Xq}； 假设ns表示Xs中的样本数量，njs表示Xs中属于类别cj的样本数量，则由属性Af划分数据集X的熵为： 其中： ID3算法 计算属性Af划分数据集时的信息增益： 属性的信息增益值越大，表示它的区分度就越高，使用该属性进行分类的效果就越好。 ID3算法是通过选择具有最高信息增益的属性作为数据集的划分，从而可创建决策树中的一个结点，根据该属性的不同取值可形成该结点的不同分枝。 再对各分枝中的