第5章 数据分类-1.pptVIP

数据仓库与数据挖掘 数据仓库与数据挖掘 第5章 数据分类 5.1 引例 一、分类的定义 把数据样本映射到一个事先定义的类中的学习过程，即给定一组输入的属性向量及其对应的类，用基于归纳的学习算法得出分类。 例如：（1）正常信用卡与欺诈信用卡的分类 （2） 正常细胞与癌变细胞的分类 （3）正常邮件与垃圾邮件的分类 5.1 引例 5.1 引例 二、分类问题使用的数据集（续） 5.1 引例 二、分类问题使用的数据集（续） 分类问题中使用的数据集X={(xi,yi)|i=1,2,…,total} xi=(xi1,xi2,…,xid) ，其中xi1,xi2,…,xid分别对应d个描述属性A1,A2,…,Ad的具体取值 yi表示数据样本xi的类标号，假设给定数据集包含m个类别，则yi∈{c1,c2,…,cm}，其中c1,c2,…,cm是类别属性C的具体取值 未知类标号的数据样本x用d维特征向量x=(x1,x2,…,xd)来表示 5.2 分类问题概述 一、 分类的过程 二、 分类的评价准则 一、 分类的过程 一、分类的过程（续） 获取数据 输入数据、对数据进行量化 预处理 ※ 去除噪声数据、对空缺值进行处理 ※ 数据集成或者变换 分类器设计 划分数据集、分类器构造、分类器测试 分类决策 对未知类标号的数据样本进行分类 二、分类的评价准则 给定测试集Xtest={(xi,yi)|i=1,2,…,N} N表示测试集中的样本个数 xi表示测试集中的数据样本 yi表示数据样本xi的类标号-m个类别 对于测试集的第j个类别，假设 被正确分类的样本数量为TPj 被错误分类的样本数量为FNj 其他类别被错误分类为该类的样本数据量为FPj 二、分类的评价准则 精确度 代表测试集中被正确分类的数据样本所占的比例。 二、分类的评价准则（续） 查全率 表示在本类样本中被正确分类的样本所占的比例。 查准率 表示被分类为该类的样本中，真正属于该类的样本所占的比例。 二、分类的评价准则（续） F-measure 查全率和查准率的组合表达式 注：β是可以调节的，通常取值为1。 二、分类的评价准则（续） 几何均值 各个类别的查全率的平方根。 5.3 决策树 一、 决策树的基本概念 二、 决策树算法ID3 三、 ID3算法应用举例 四、 决策树算法C4.5 五、 SQL Server 2005中的决策树应用 六、 决策树剪枝 5.3 决策树 ID3决策树算法 只能处理离散型描述属性。 使用信息增益最大的方法选择属性。 改进算法：C4.5 ※ 离散属性、连续属性 ※ 使用信息增益比（或信息增益率） 5.3 决策树 决策树的优点 进行分类器设计时，决策树分类方法所需时间相对较少。 决策树的分类模型是树状结构，简单直观，比较符合人类的理解方式。 可以将决策树中到达每个叶节点的路径转换为IF—THEN形式的分类规则，这种形式更有利于理解。 一、 决策树的基本概念 采用自顶向下的递归方式产生一个类似于流程图的树结构。 在根节点和各内部节点上根据给定的度量标准选择合适的描述属性，并且根据该属性的不同取值向下建立分枝。 对未知类标号的数据样本分类时，从根节点开始逐层向下判断，直至叶节点，从而获得该数据样本的类标号。 一、 决策树的基本概念（续） 一、决策树的基本概念（续） 二、 决策树算法ID3 基本思想： ID3只能处理离散型描述属性；在选择根节点和各个内部节点上的分枝属性时，采用信息增益作为度量标准 ，选择具有最高信息增益的描述属性作为分枝属性。 假设nj是数据集X中属于类别cj的样本数量，则各类别的先验概率为P(cj)=nj/total，j=1,2,…,m。 二、 决策树算法ID3 （续） 对于数据集X，计算期望信息（熵） 计算描述属性Af划分数据集X所得的熵 假设Af有q个不同取值，将X划分为q个子集{X1,X2,…,Xs,…,Xq} 。 假设ns表示Xs中的样本数量，njs表示Xs中属于类别cj的样本数量。 二、 决策树算法ID3（续） 由描述属性Af划分数据集X所得的熵为 其中： 计算Af划分数据集时的信息增益 Gain(Af)=I(n1,n2,…,nm)-E(Af) 三、 ID3算法应用举例 参考书本的p114~116。 四、 决策树算法C4.5 C4.5算法使用信息增益比来选择分枝属性，克服了ID3算法使用信息增益时偏向于取值较多的属性的不足 信息增益比