数据仓库与数据挖掘学习要点及答案.docVIP

数据仓库与数据挖掘学习要点 引言 数据挖掘的概念，即什么是数据挖掘？ 数据挖掘--从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。2、数据挖掘的过程。 数据挖掘的功能是什么？即可以挖掘到什么类型的模式。 1）概念描述: 特征和区分 2）频繁模式,关联 3）分类和预测 4）聚类分析 5）离群点分析 6）趋势和演变分析 4、数据挖掘模式是要挖掘有趣的模式。什么是有趣模式，为什么要挖掘有趣的模式？ 有趣模式：易于被人理解的, 在某种程度上在新的或测试数据上是有效的, 潜在有用的, 新颖的, 或验证了用户希望证实的某种假设 模式兴趣度度量，无论是客观的还是主观的，都可以用来指导发现过程 关系数据库、数据仓库、数据挖掘构成一个怎样的层次，在功能上它们之间有什么样的关系？ 多种挖掘功能的集成、耦合 数据预处理 为什么要预处理数据？ 现实世界中的数据是脏的：1）不完全: 缺少属性值, 缺少某些有趣的属性, 或仅包含聚集数据 2）噪音: 包含错误或孤立点 3）不一致: 编码或名字存在差异 数据预处理包括那些方面？ 数据清理——填充缺失值, 识别/去除离群点, 光滑噪音, 并纠正数据中的不一致 数据集成——多个数据库, 数据立方体, 或文件的集成 数据变换——规范化和聚集 数据归约——得到数据的归约表示, 它小得多, 但产生相同或类似的分析结果：维度规约、数值规约、数据压缩 数据离散化和概念分层 数据清理的概念，数据清理包括那些方面？ 数据清理——填充缺失值, 识别/去除离群点, 光滑噪音, 并纠正数据中的不一致 数据清理包括缺失值、噪声数据、不一致性、偏差检测和数据交换 数据集成和变换的概念。 数据集成——多个数据库, 数据立方体, 或文件的集成 数据变换——规范化和聚集 数据规约的概念，数据规约包括那些方面？ 数据归约——得到数据的归约表示, 它小得多, 但产生相同或类似的分析结果：维度规约、数值规约、数据压缩 数据规约包括数据立方体聚集、维度规约、数据压缩、数值规约、离散化和产生概念分层 什么是数据离散化？什么是概念分层？ 数据离散化——把连续属性的区域分成区间 概念分层——递归离散化属性，产生属性值分层/多分辨率划分 数据仓库与OLAP技术 数据仓库的概念 数据仓库是面向主题的, 集成的, 时变的, 和非易失的数据集合, 支持管理决策过程 为什么需要数据仓库？ 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，→Y)=P (X u?Y) 置信度,是指特定个体对待特定命题真实性相信的程度.也就是概率是对个人信念合理性的量度 是一个条件概率P (Y | X)。confidence (X→Y)=P (Y | X) Apriori算法的过程及应用。 1)通过迭代，检索出事务数据库中的所有频繁项集，即支持度不低于用户设定的阈值的项集； 2)利用频繁项集构造出满足用户最小信任度的规则。 分类和预测 什么是分类，什么是预测，二者有什么区别与联系？ 分类和预测是两种数据分析形式 分类——用于提取描述重要数据类的模型 预测——用于预测未来的数据趋势的模型 相同点 1）两者都需要构建模型 2）都用模型来估计未知值 预测当中主要的估计方法是回归分析 线性回归和多元回归 非线性回归 不同点： 分类法主要是用来预测类标号（分类属性值） 预测法主要是用来估计连续值（量化属性值）决策树分类算法。 2、决策树分类算法。 基本算法 (贪心算法) 1）树构建：自顶向下递归地分治方式 2）开始，所有的训练样本位于根节点 3）属性是分类属性(若是连续值,事先离散化) 4）基于选择的属性，样本被递归地分割 5）基于启发式/统计测来选择测试属性 (例如 信息增益) 什么是一元线性回归分析，回归分析有什么作用？ 对一元正态线性回归模型进行统计分析称为一元线性回归分析 其作用主要表现在以下几个方面： (1) 判别自变量是否能解释因变量的显著变化----关系是否存在； (2) 判别自变量能够在多大程度上解释因变量----关系的强度； (3) 判别关系的结构或形式----反映因变量和自变量之间相关的数学表达式； (4) 预测自变量的值； (5) 当评价一个特殊变量或一组变量对因变量的贡献时，对其自变量进行控制。 聚类分析 聚类的概念，聚类与分类的联系与区别。 聚类: 数据对象的集合/簇 (cluster) · 同一簇中的对象彼此相似 · 不同簇