DM 3-1 分类及预测 QBai 21-08-2006.ppt

分类与预测 Dr. Qingyuan Bai School of Computer Science Faculty of Mathematics and Computer Science, Fuzhou University Email: baiqy@fzu.edu.cn 分类与预测 分类和预测是数据挖掘中最基本也是最具丰富内容的技术。一般来说，数据挖掘除数据预处理之外，主要基本技术为关联规则、分类与预测、聚类。 分类是区分抽象事务和具体事物的方法和能力，分类也是一种知识表示方法。 有人认为分类是人类具有的最基本知识。 分类与预测 预测是构造和使用模型评估无标号样本类（预测出类），或评估给定样本可能具有的属性值或值区间。 用预测法预测类标号也称为分类，用预测法预测连续值为预测。 分类和预测是应用最广泛的方法。它不仅在数据挖掘有大量应用，在其他学科也同样有较好的应用。 分类和预测 分类方法和预测方法已被许多学科研究 机器学习 事例学习、归纳学习、神经元网络学习 模式识别 特征提取，模式分类。 专家系统 专家系统中有许多是分类问题。 统计学 统计理论是分类的基础。 神经生物学 生物信息学 Web 技术 图像的区分 模式的识别 指纹识别，人脸识别 语音识别，图像识别 医疗诊断 信贷评估 故障诊断 分类与预测 概述 分类方法 1 决策(判定)树归纳 2 贝叶斯方法 3 神经元网络 4 基于距离的分类方法 基于案例的分类方法 遗传算法 粗糙集方法 模糊集方法 关联规则方法 概述：1. 什么是分类（1） 分类： 是给一个样本（对象、元组、实例） 按照给定分类体系用一定方法将其归于某类。分类体系可能是人为的，也可能是学习到的（如聚类的得到的）。 1.什么是分类（2） 分类的定义： 从给定样本组成的数据集 和类集 分类就是给出一个映射 样本 被分配到一个类 ， 精确包含了被映射到其中的所有样本。 即： 映射就是分类模型，通过样本集和类集学习分类模型，按模型对给的新样本分类。 1.什么是分类（3） 分类分为两步： 分类第一步： 通过带有类别标记的样本集来学习ｆ(模型/映射/函数），由于样本的标记是人给定的，故称有指导的学习。这个样本集称训练样本集。 若训练样本集的样本，典型且量多,学到的模型就会好。 分类第二步： 任意给定一个没有标记样本，用学到的模型对其进行分类，即给出其类标记。 为了测试模型的准确性，可用一个测试样本集。 2.什么是预测 是构造模型来评估给定样本的类或值。 对于离散值用分类方法预测其类 对于连续值问题用回归方法来预测其值或值的区间。 一般预测类也归为分类，只把预测连续值（如回归方法）为预测。 3.分类预测的数据准备 数据清理 去噪声: 补缺值: 相关分析 去无关属性（特征），去冗余属性 数据变换 概念分层 数据规范化 数据离散化 4.常用的分类方法 决策树 贝叶斯方法 神经元网络 K-近邻方法 5.常用的预测方法 分类法是对数据预测其类标号，但预测 法是预测连续值，预测方法有： 线性回归 多元回归 非线性回归 决策树方法 决策树方法 决策树（Decision Tree)是类似流程图的树结构。它是一棵树，树中每个内部结点都表示一个属性的测试，结点的每个分枝代表一个测试的输出，每个叶结点代表一个类或类分布。 决策树是一种逼近离散值函数的方法，对噪声数据有很好的健壮性，且能够学习析取表达式。 决策树是一个有效的有指导的机器学习方法。作为一种分类的方法，为数据挖掘系统广泛采用。它是一种归纳学习方法。 决策树方法的发展 决策树方法是分类中最典型且用得最多的方法。决策树方法是在归纳学习中最有代表性的方法。一般认为归纳学有两个代表性的方法，一个为决策树，一个为规则归纳。 决策树最早方法是1966年Hunt提出的CLS学习算法。以后有很多方法出现，其中最有影响的是J.