数据挖掘概念与技术第6章分类和预测.pptVIP

属性选择度量 数学符号 D为元组的训练集，元组属于m个不同的类Ci(i=1,,,m) Ci,D是D中的Ci类的元组集合 |Ci,D|和|D|分别表示各自的元组个数 线性回归 线性回归 线性回归 * 线性回归 研究因变量Y对自变量X的线性相依关系 参数需要估计以最好的拟合给定的数据 绝大多数情况“最好的拟合”是由最小二乘法(least squares method)实现, 其他的方法也有 用于预测（包括时间序列数据的预测），推断，假设检验和因果关系的建模 y x y = x + 1 X1 Y1 Y1’ * 线性回归 线性回归: 包含一个响应变量y 和一个预测变量x y = w0 + w1 x 最小二乘法: 估计与点列最适合的直线 对给定的数据,计算 将这两个值代入公式计算 得到一元线性回归公式 * * * * * * I : the expected information needed to classify a given sample E (entropy) : expected information based on the partitioning into subsets by A * * * * * * * * * 分类和预测是两种数据分析形式，用于提取描述重要数据类或预测未来的数据趋势的模型 分类： 预测类对象的分类标号（或离散值） 根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据 预测： 建立连续函数值模型 比如预测空缺值，或者预测顾客在计算机设备上的花费 典型应用 欺诈检测、市场定位、性能预测、医疗诊断 分类与预测 分类 银行贷款员需要分析数据，来弄清哪些贷款申请者是安全的，哪些是有风险的（将贷款申请者分为“安全”和“有风险”两类） 我们需要构造一个分类器来预测类属编号，比如预测顾客属类 预测 银行贷款员需要预测贷给某个顾客多少钱是安全的 构造一个预测器，预测一个连续值函数或有序值，常用方法是回归分析 分类与预测（示例） * 分类: 基本概念 分类: 基本概念 决策树归纳 监督学习（用于分类） 模型的学习在被告知每个训练样本属于哪个类的“指导”下进行 新数据使用训练数据集中得到的规则进行分类 无监督学习（用于聚类） 每个训练样本的类编号是未知的，要学习的类集合或数量也可能是事先未知的 通过一系列的度量、观察来建立数据中的类编号或进行聚类 有监督 vs. 无监督学习 * 分类: 一个两步的过程(1) 第一步，也称为学习步，目标是建立描述预先定义的数据类或概念集的分类器 分类算法通过分析或从训练集“学习”来构造分类器。 训练集由数据库元组（用n维属性向量表示）和他们相对应的类编号组成；假定每个元组属于一个预定义的类 训练元组：实例中训练数据集的记录 类标号：实例中tenured属性的两个值yes、no 实例中的元组可以根据tenured的值 yes、no分为两类 学习模型可以用分类规则、决策树或数学公式的形式提供 * 学习步实例: 模型构建 训练数据 分类算法 IF rank = ‘professor’ OR years 6 THEN tenured = ‘yes’ 分类器 (模型) 第二步，使用模型，对将来的或未知的对象在测试数据集上进行分类 首先评估模型的预测准确率 对每个测试样本，将已知的类标号和该样本的学习模型类预测比较 模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比 测试集要独立于训练样本集，否则会出现“过分拟合”的情况 分类: 一个两步的过程(2) * 过程 (2)实例: 使用模型预测 分类器 测试数据 未知数据 (Jeff, Professor, 4) Tenured? 使用下列标准评估分类方法 预测的准确率：模型正确预测新数据的类编号的能力 速度：产生和使用模型的计算花销 健壮性：给定噪声数据或有空缺值的数据，模型正确预测的能力 可伸缩性：对大量数据，有效的构建分类器的能力 可解释性：学习模型提供的理解和洞察的层次 分类方法的评估 * 分类:决策树归纳 分类: 基本概念 决策树归纳 什么是决策树？ 类似于流程图的树结构 每个内部节点表示在一个属性上的测试 每个分枝代表一个测试输出 每个树叶节点存放一个类编号 age? student? credit rating? no yes fair excellent youth senior no no yes yes yes Middle aged 决策树：Buys_computer * 用决策树分类: 例子 age? overcast student? credit rating? =30 40 no yes yes yes 31..40 no fair excellent yes no 训练集: