最新《数据挖掘》分类和预测.pptVIP

可伸缩性与决策归纳树 分类挖掘是一个在统计学和机器学习的领域也被广为研究的问题，并提出了很多算法，但是这些算法都是内存驻留的 可伸缩性问题：要求以合理的速度对数以百万计的样本和数以百计的属性的进行分类挖掘 由大型数据库构造决策树 首先将样本划分为子集，每个子集可以放在内存中 然后由每个自己构造一颗决策树 输出的分类法将每个子集的分类法组合在一起 （其他方法包括SLIQ, SPRINT,RainForest等等） * 喜欢你i * 喜欢你i 喜欢你i 喜欢你i 喜欢你i 喜欢你i 喜欢你i 分类和预测 分类 VS. 预测 分类和预测是两种数据分析形式，用于提取描述重要数据类或预测未来的数据趋势 的模型 分类： 预测类对象的分类标号（或离散值） 根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据 预测： 建立连续函数值模型 比如预测空缺值，或者预测顾客在计算机设备上的花费 典型应用 欺诈检测、市场定位、性能预测、医疗诊断 分类和预测---示例 分类 银行贷款员需要分析数据，来弄清哪些贷款申请者是安全的，哪些是有风险的（将贷款申请者分为“安全”和“有风险”两类） 我们需要构造一个分类器来预测类属编号，比如预测顾客属类 预测 银行贷款员需要预测贷给某个顾客多少钱是安全的 构造一个预测器，预测一个连续值函数或有序值，常用方法是回归分析 数据分类——一个两步过程 (1) 第一步，也成为学习步，目标是建立描述预先定义的数据类或概念集的分类器 分类算法通过分析或从训练集“学习”来构造分类器。 训练集由数据库元组（用n维属性向量表示）和他们相对应的类编号组成；假定每个元组属于一个预定义的类 训练元组：训练数据集中的单个元组 学习模型可以用分类规则、决策树或数学公式的形式提供 数据分类——一个两步过程 (2) 第二步，使用模型，对将来的或未知的对象进行分类 首先评估模型的预测准确率 对每个测试样本，将已知的类标号和该样本的学习模型类预测比较 模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比 测试集要独立于训练样本集，否则会出现“过分拟合”的情况 第一步——建立模型 训练数 据集 分类算法 IF rank = ‘professor’ OR years 6 THEN tenured = ‘yes’ 分类规则 第二步——用模型进行分类 分类规则 测试集 未知数据 (Jeff, Professor, 4) Tenured? 监督学习 VS. 无监督学习 监督学习（用于分类） 模型的学习在被告知每个训练样本属于哪个类的“指导”下进行 新数据使用训练数据集中得到的规则进行分类 无监督学习（用于聚类） 每个训练样本的类编号是未知的，要学习的类集合或数量也可能是事先未知的 通过一系列的度量、观察来建立数据中的类编号或进行聚类 数据预测的两步过程 数据预测也是一个两步的过程，类似于前面描述的数据分类 对于预测，没有“类标号属性” 要预测的属性是连续值，而不是离散值，该属性可简称“预测属性” E.g. 银行贷款员需要预测贷给某个顾客多少钱是安全的 预测器可以看作一个映射或函数y=f(X) 其中X是输入；y是输出，是一个连续或有序的值 与分类类似，准确率的预测，也要使用单独的测试集 准备分类和预测的数据 通过对数据进行预处理，可以提高分类和预测过程的准确性、有效性和可伸缩性 数据清理 消除或减少噪声，处理空缺值，从而减少学习时的混乱 相关分析 数据中的有些属性可能与当前任务不相关；也有些属性可能是冗余的；删除这些属性可以加快学习步骤，使学习结果更精确 数据变换与归约 数据可以通过规范化进行变换，将所给属性的所有值按比例进行缩放，使其落入一个较小的指定区间，例 [0.0, 1.0]（ANN和设计距离的度量方法中常用） 可以将数据概化到较高层概念 比较分类方法 使用下列标准比较分类和预测方法 预测的准确率：模型正确预测新数据的类编号的能力 速度：产生和使用模型的计算花销 健壮性：给定噪声数据或有空缺值的数据，模型正确预测的能力 可伸缩性：对大量数据，有效的构建分类器或预测器的能力 可解释性：学习模型提供的理解和洞察的层次 用决策树归纳分类 (1) 什么是决策树？ 类似于流程图的树结构 每个内部节点表示在一个属性上的测试 每个分枝代表一个测试输出 每个树叶节点存放一个类编号 age? student? credit rating? no yes fair excellent youth senior no no yes yes yes Middle aged 决策树：Buys_computer 用决策树归纳分类 (2) 使用决策树分类 给定一个类标号未知的元组X，在决策树上测试元组的属性值，跟踪一条由根到叶节点的路径，叶节点存放该元组的类