数据挖掘考试概念.docVIP

1.当前数据挖掘研究的主要方向 数据挖掘研究的发展方向 新的应用领域 新的工作形式 新的数据类型 数据挖掘的进一步深入 2.数据挖掘的技术定义 定义：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的、但又是潜在有用的信息和知识的过程. 3.为什么要 挖掘 数据? 商业观点 大量的数据被收集，贮入仓库 计算机已经变的越来越便宜，功能越来越强大 企业竞争压力大 为什么 挖掘数据? 科学的观点 数据的收集和存储正以高速进行 传统的技术方法对原始数据已不可实行 4.知识发现过程 、数据准备 、数据挖掘阶段 、结果解释和评价 5.数据挖掘的地位 KDD(knowledge discovery in data)是一种知识发现的一连串程序，数据挖掘只是KDD的一个重要程序. 数据挖掘的质量取决于两方面的影响： 一、所采用的数据挖掘技术的有效性； 二、用于挖掘的数据的质量数量（数据量的大小） 6、.数据挖掘的对象 关系数据库 数据仓库 事务数据库 高级数据库系统 7、数据仓储应该具有这些数据：整合性数据（integrated data）、详细和汇总性的数据(detailed and summarized data)、历史数据、解释数据的数据。从数据仓储挖掘出对决策有用的信息与知识，是建立数据仓储与使用Data Mining的最大目的 8、Data Mining常能挖掘出超越归纳范围的关系，但OLAP仅能利用人工查询及可视化的报表来确认某些关系，.主要差异在于Data Mining用在产生假设，OLAP则用于查证假设 9、数据挖掘主要有两大类主要任务：分类预测型任务和描述型任务 10、数据挖掘的任务 分类 [预测性的] 聚类 [描述性的] 关联规则发现 [描述性的] 序列模式发现[描述性的] 预测回归 [预测性的]异常发现 [预测型的] 11、聚类方法主要包括划分聚类、层次聚类、基于密度的聚类和kohonen聚类等； 进行划分聚类，一般用距离来度量对象之间的相似性，典型的是欧氏距离；距离越大，则相似性越小，反之亦然； 12、.序列模式发现 目的：找出规则来预测在不同时间点上很强的序列依赖性. 异常检测 从正常的行为中检测有意义的异常 应用: 信用卡欺诈检测 网络侵扰检测 数据挖掘采用了分类和归纳这些典型的统计方法，它仍然有自己显著的特点： 一、模型的复杂性 二、问题大型性. 三、变量的离散性 13..统计学是一门收集、组织数据并从这些数据集中得出结论的科学 算术平均数 .集中趋势的测度值之一 最常用的测度值 .一组数据的均衡点所在 .易受极端值的影响 用于数值型数据 表示一组已按升序排列的容量 为n的数据集，那么中位数可以表示如下： 14、中位数 集中趋势的测度值之一 排序后处于中间位置上的值 不受极端值的影响 主要用于定序数据，也可用数值型数据 各变量值与中位数的离差绝对值之和最小 15、定义：众数是指社会现象总体中最普遍出现的标志值。 出现次数最多的标志值就是众数 16、定序数据是表示有相对重要性的类别的数值数据，可用于给强度、重要性分等级.例如，用1-5表示用户对某产品的质量评价，分别表示很差、较差、中等、较好、很好. 贝叶斯定理提供了一种由概率 、 和 来计算后验概率的方法，其基本关系是： 聚类:是一个数据集 将数据集划分为若干组（class）或类（cluster）的过程，并使得同一个组内的数据对象具有较高的相似度； 而不同组中的数据对象是不相似的。 聚类分析 将一组（set）物理的或抽象的对象，根据它们之间的相似程度，分为若干组（group）； 聚类是一种无监督的分类方法：不能事先定义类 典型的应用 作为一个调度的工具获得数据分布 作为其他算法的一个组成部分 样本数据与小类、小类与小类之间的度量 1 、最短距离法 T为一给定的阈值，如果对任意的 ，有 ( 为 的距离)，则称G为一个类。 两个类之间的距离是从两个类中抽取的每对样本（一个取自第一个类，另一个取自第二个类）的距离中的最小值。 最长距离法： 两个类之间的距离是从两个类中抽取的每对样本（一个取自第一个类，另一个取自第二个类）的距离中的最大值 什么是好的聚类方法? 一个好的聚类方法可以产生高质量的聚类： 类的内部具有较高的相似度 类间具有较低的相似度 聚类结果的质量依赖于相似度评价方法以及它们的应用； 聚类结果的质量也取决于它发现隐藏模式的能力。. K-均值聚类 K-均值聚类方法是最简单、最常用的使用使用准则的方法。 K-均值