数据挖掘原理课件.pptxVIP

数据挖掘原理6.1知识发现过程6.1.1知识发现过程定义知识发现（KDD）：从数据中发现有用知识的整个过程。数据挖掘（DM） ：KDD过程中的一个特定步骤，它用专门算 法从数据中抽取模式（patterns）。 KDD过程定义： 从大量数据中提取出可信的、新颖的、有用的并能被人理解的模式的高级处理过程。 “模式”可以看成是“知识”的雏形，经过验证、完善后形成知识。数据准备数据挖掘结果评价预处理后数据目标数据数据数据源知识结果表达和解释数据转换模式数据挖掘转换数据预处理数据选择数据集成KDD过程1．数据准备目标数据（Target Data），是根据用户的需要从原始数据库中选取的一组数据。数据预处理一般包括消除噪声、推导计算缺值数据、消除重复记录等。数据转换的主要目的是完成数据类型转换。尽量消减数据维数或降维，以减少数据挖掘时要考虑的属性个数。 2．数据挖掘首先要确定挖掘的任务或目的，如数据分类、聚类、关联规则发现或序列模式发现等。确定了挖掘任务后，就要决定使用什么样的挖掘算法。实施数据挖掘算法，获取有用的模式。3．结果的评估获取的模式经过评估，可能存在冗余或无关的模式，这时需要将其剔除；也有可能模式不满足用户要求。把结果转换为用户易懂的另一种表示，如把分类决策树转换为“if ...then…”规则。6．1．2 数据挖掘对象1．关系数据库2．文本3．图象与视频数据4．Web数据1．关系数据库数据库的特点有：（1）数据动态性（2）数据不完全性（3）数据噪声（4）数据冗余性（5）数据稀疏性（6）海量数据2．文本（1）关键词或特征提取（2）相似检索（3）文本聚类（4）文本分类3．图象与视频数据（1）图像与视频特征提取（2）基于内容的相似检索（3）视频镜头的编辑与组织4．Web数据（1）异构数据集成和挖掘（2）半结构化数据模型抽取6.1.3数据挖掘任务1．关联分析2．时序模式3．聚类4．分类5．偏差检测 6．预测1．关联分析若两个或多个数据项的取值之间重复出现且概率很高时，它就存在某种关联，可以建立起这些数据项的关联规则。例如，买面包的顾客有90%的人还买牛奶，这是一条关联规则。一般用“支持度”和“可信度”两个阈值来淘汰那些无用的关联规则。2．时序模式通过时间序列搜索出重复发生概率较高的模式。例如，在所有购买了激光打印机的人中，半年后80%的人再购买新硒鼓，20%的人用旧硒鼓装碳粉。时序模式中，一个有重要影响的方法是“相似时序”。要按时间顺序查看时间事件数据库，从中找出另一个或多个相似的时序事件。3．聚类数据库中的数据可以划分为一系列有意义的子集，即类。在没有类的数据中，按“距离”概念聚集成若干类。在同一类别中，个体之间的距离较小，而不同类别上的个体之间的距离偏大。聚类方法包括统计分析方法，机器学习方法，神经网络方法等。4．分类分类是在聚类的基础上，对已确定的类找出该类别的概念描述，它代表了这类数据的整体信息。一个类的内涵描述分为：特征描述和辨别性描述。特征描述是对类中对象的共同特征的描述。辨别性描述是对两个或多个类之间的区别的描述。5．偏差检测从数据分析中发现这些异常情况。偏差检测的基本方法是寻找观察结果与参照之间的差别。6．预测预测是利用历史数据找出变化规律，建立模型，并用此模型来预测未来数据的种类，特征等。典型的方法是回归分析，即利用大量的历史数据，以时间为变量建立线性或非线性回归方程。预测时，只要输入任意的时间值，通过回归方程就可求出该时间的预测值。6.1.4 数据挖掘分类1．按数据库类型分类2．按数据挖掘对象分类3．按数据挖掘任务分类4．按数据挖掘方法和技术分类6.1.5不完全数据处理现实世界的数据库中的数据很少是完全的：丢失的数据、观察不到的数据，隐藏的数据、录入过程中发生错误的数据等在现实中是经常发生的。在知识发现领域中对不完全数据的研究比较多的在于丢失的数据。例如，在对个人调查时，被调查的对象可能会拒绝提供他的收入情况，在一项实验过程中，某些结果可能会因为某些故障而丢失，这些情况都会产生数据丢失。6.1.6数据库的数据浓缩1、属性约简2、元组（记录）压缩1、属性约简属性约简一般用于分类问题。属性约简的原则是保持数据库中分类关系不变。目前，属性约简一般采用粗糙集（Rough Set）方法.例如，有如下汽车数据库（CTR），有9个条件属性，1个决策属性（里程） ，见表6.1 如示。序号类型汽缸涡轮式燃料排气量压缩率功率换档重量里程abcdefghiD1小型6Y1型中高高自动中中2小型6N1型中中高手动中中3小型6N1型中高高手动中中4小型4Y1型中高高手动轻高5小型6N1型中中中手动中中6小型6N2型中中中自动重低7小型6N1型中中高手动重低8微型4N2型小高低手动轻高9小型4N2型小高低手动中中10小型4N2型小高中自动中中