数据挖掘课程复习提纲(4+0)重点.doc

数据挖掘课程复习提纲（4+0） 有关考试题型： 一、选择题（每题2 分，共16 分） 二、判断题（每题1 分，共10 分) 三、填空题（每空1 分，共19 分） 四、简答题（每题5 分，共15 分） 五、计算题（每题 10 分，共40 分） 基本要求：掌握数据预处理、分类、聚类、关联分析、离群点检测的基本方法，及每类方法的应用场景（每类方法理解、熟悉一个例子）。算法重点掌握k-means、一趟聚类、Appriori 及基于密度的离群点检测方法；掌握决策树分类(C4.5、CART) 、KNN分类的基本思想，基于聚类的离群点检测方法的思想。 第一章 绪论 1 数据挖掘的定义 技术层面：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中、人们事先不知道的、但又潜在有用的信息和知识的过程。 商业层面：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 2 数据挖掘的任务 预测任务：根据其它属性的值预测特定（目标）属性的值，如回归、分类、异常检测。 描述任务：寻找概括数据中潜在联系的模式，如关联分析、聚类分析、序列模式挖掘。 聚类(Clustering)分析 “物以类聚，人以群分”。聚类分析技术试图找出数据集中的共性和差异，并将具有共性的对象聚合在相应的中。聚类可以帮助哪些组合更有意义聚类广泛应用于客户细分、定向营销、信息检索等。分类(Classification)分析 分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用这个分类规则对数据库中的其它记录进行分类。广泛应用于用户行为分析(受众分析)、风险分析、生物科学等。 聚类与分类的区别 聚类问题是无指导的：没有预先定义的类。 分类问题是有指导的：预先定义有类。 关联(Association)分析 关联分析发现特征之间的相互依赖关系，通常是给定的数据集中发现频繁出现的模式知识(又称为关联规则)。关联分析广泛用于市场营销、事务分析等领域。 (Outlier)检测 离群点检测就是。应用于商业行为的检测，网络入侵检测，反洗钱，犯罪嫌疑人调查，海关、税务稽查等。 回归(Regression)分析 回归分析是确定间相互依赖的定量关系的分析方法应用于风险分析、作文自动评分等领域。序列模式(Sequential Pattern)挖掘 序列模式挖掘是指分析数据间的前后序列关系，包括相似模式发现、周期模式发现等应用客户购买行为模式预测、Web访问模式预测、疾病诊断、网络入侵检测等。 7 数据挖掘在商业领域中的应用 (1) 市场营销；(2) 交叉销售与交叉营销；(3) 客户关系管理；(4) 个性化推荐与个性化服务；(5) 风险分析与控制；(6) 欺诈行为检测和异常模式的发现；(7) 供应链库存管理中的需求预测；(8) 人力资源管理 第三章 数据挖掘建模方法 1．Clementine的数据挖掘方法论CRISP-DM CRISP-DM（CRoss-Industry Standard Process for Data Mining）即为”跨行业数据挖掘过程标准”，为一个KDD工程提供了一个完整的过程描述，该模型将一个KDD工程分为6个不同的，但顺序并非完全不变的阶段。 业务理解 （Business Understanding） 其任务包括：确定商业目标、评析环境、确定数据挖掘目标、制定项目计划。 数据理解 （Data Understanding） 其任务包括：收集原始数据、描述数据、探索数据、检验数据质量。 数据准备 （Data Preparation） ??其任务包括：选择数据、清洗数据、构造数据、整合数据、规范化数据等。 建模（Modeling） 其任务包括：选择建模技术、生成测试计划、构建模型、评估模型（参数设置等技术角度）。 评估（Evaluation） 其任务包括：评价结果、重审过程、确定下一步。 部署 （Deployment） 其任务包括：规划部署、规划监控与维护、产生最终报告、回顾项目。 2 成功建立预测模型的注意要点 要成功建立预测模型，需要注意以下三点： (1)预测模型的时间范围 (2)模型的使用有效期 (3)建立预测模型的假设 假设1：历史是未来的写照 假设2：数据是可以获得的 假设3：数据中包含我们的预期目标 3 有效模型的建立需要考虑以下因素： (1) 预测建模的第一项任务就是搜集足够预先分类好的数据，将模型集分为三部分：训练集、测试集、评估集，并理解模型在各个子集上的效果。 (2) 对于类别不平衡的数据，通过抽样来控制模型集的密度，即不同分布的类别比例。 (3) 注意观察所用数据的输入和输出时