第5章 数据分类.pptVIP

数据仓库与数据挖掘 第5章 数据分类 5.1 引例 分类的定义 分类是指把数据样本映射到一个事先定义的类中的学习过程，即给定一组输入的属性向量及其对应的类，用基于归纳的学习算法得出分类。 5.1 引例 5.1 引例 分类问题使用的数据集格式 描述属性可以是连续型属性，也可以是离散型属性；而类别属性必须是离散型属性。 连续型属性是指在某一个区间或者无穷区间内该属性的取值是连续的 ，例如属性“Age” 离散型属性是指该属性的取值是不连续的 ，例如属性“Salary”和“Class” 5.1 引例 分类问题使用的数据集格式 分类问题中使用的数据集可以表示为X={(xi,yi)|i=1,2,…,total} xi=(xi1,xi2,…,xid) ，其中xi1,xi2,…,xid分别对应d个描述属性A1,A2,…,Ad的具体取值 yi表示数据样本xi的类标号，假设给定数据集包含m个类别，则yi∈{c1,c2,…,cm}，其中c1,c2,…,cm是类别属性C的具体取值 未知类标号的数据样本x用d维特征向量x=(x1,x2,…,xd)来表示 5.2 分类问题概述 5.2.1 分类的过程 5.2.2 分类的评价准则 5.2.1 分类的过程 5.2.1 分类的过程 获取数据 输入数据、对数据进行量化 预处理 去除噪声数据、对空缺值进行处理 数据集成或者变换 分类器设计 划分数据集、分类器构造、分类器测试 分类决策 对未知类标号的数据样本进行分类 5.2.2 分类的评价准则 给定测试集Xtest={(xi,yi)|i=1,2,…,N} N表示测试集中的样本个数 xi表示测试集中的数据样本 yi表示数据样本xi的类标号 对于测试集的第j个类别，假设 被正确分类的样本数量为TPj 被错误分类的样本数量为FNj 其他类别被错误分类为该类的样本数据量为FPj 5.2.2 分类的评价准则 精确度：代表测试集中被正确分类的数据样本所占的比例 5.2.2 分类的评价准则 查全率：表示在本类样本中被正确分类的样本所占的比例 查准率：表示被分类为该类的样本中，真正属于该类的样本所占的比例 5.2.2 分类的评价准则 F-measure：是查全率和查准率的组合表达式 β是可以调节的，通常取值为1 5.2.2 分类的评价准则 几何均值 ：是各个类别的查全率的平方根 5.3 决策树 5.3.1 决策树的基本概念 5.3.2 决策树算法ID3 5.3.3 ID3算法应用举例 5.3.4 决策树算法C4.5 5.3.5 SQL Server 2005中的决策树应用 5.3.6 决策树剪枝 5.3 决策树 决策树的优点： 进行分类器设计时，决策树分类方法所需时间相对较少 决策树的分类模型是树状结构，简单直观，比较符合人类的理解方式 可以将决策树中到达每个叶节点的路径转换为IF—THEN形式的分类规则，这种形式更有利于理解 5.3.1 决策树的基本概念 适用于离散值属性、连续值属性 采用自顶向下的递归方式产生一个类似于流程图的树结构 在根节点和各内部节点上选择合适的描述属性，并且根据该属性的不同取值向下建立分枝 5.3.1 决策树的基本概念 5.3.1 决策树的基本概念 5.3.2 决策树算法ID3 ID3只能处理离散型描述属性；在选择根节点和各个内部节点上的分枝属性时，采用信息增益作为度量标准 ，选择具有最高信息增益的描述属性作为分枝属性 假设nj是数据集X中属于类别cj的样本数量，则各类别的先验概率为P(cj)=nj/total，j=1,2,…,m。 5.3.2 决策树算法ID3 对于数据集X，计算期望信息 计算描述属性Af划分数据集X所得的熵 假设Af有q个不同取值，将X划分为q个子集{X1,X2,…,Xs,…Xq} 假设ns表示Xs中的样本数量，njs表示Xs中属于类别cj的样本数量 5.3.2 决策树算法ID3 由描述属性Af划分数据集X所得的熵为 其中 计算Af划分数据集时的信息增益 Gain(Af)=I(n1,n2,…,nm)-E(Af) 5.3.3 ID3算法应用举例 参考书本的p114~116。 5.3.4 决策树算法C4.5 C4.5算法使用信息增益比来选择分枝属性，克服了ID3算法使用信息增益时偏向于取值较多的属性的不足 信息增益比的定义式为 其中 5.3.4 决策树算法C4.5 C4.5既可以处理离散型描述属性，也可以处理连续型描述属性 对于连续值描述属性，C4.5将其转换为离散值属性 在{A1c,A2c,…,Atotalc}中生成total-1个分割点 第i个分割点的取值设置vi=(Aic+A(i+1)c)/2 每个分割点将数据集划分为两个子集 挑选