- 1、本文档共8页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
数据仓库与数据挖掘学习要点
引言
数据挖掘的概念,即什么是数据挖掘?
数据挖掘--从大量数据中寻找其规律的技术,是统计学、数据库技术和人工智能技术的综合。2、数据挖掘的过程。
数据挖掘的功能是什么?即可以挖掘到什么类型的模式。
1)概念描述: 特征和区分 2)频繁模式,关联 3)分类和预测 4)聚类分析 5)离群点分析 6)趋势和演变分析
4、数据挖掘模式是要挖掘有趣的模式。什么是有趣模式,为什么要挖掘有趣的模式?
有趣模式:易于被人理解的, 在某种程度上在新的或测试数据上是有效的, 潜在有用的, 新颖的, 或验证了用户希望证实的某种假设
模式兴趣度度量,无论是客观的还是主观的,都可以用来指导发现过程
关系数据库、数据仓库、数据挖掘构成一个怎样的层次,在功能上它们之间有什么样的关系?
多种挖掘功能的集成、耦合
数据预处理
为什么要预处理数据?
现实世界中的数据是脏的:1)不完全: 缺少属性值, 缺少某些有趣的属性, 或仅包含聚集数据
2)噪音: 包含错误或孤立点
3)不一致: 编码或名字存在差异
数据预处理包括那些方面?
数据清理——填充缺失值, 识别/去除离群点, 光滑噪音, 并纠正数据中的不一致
数据集成——多个数据库, 数据立方体, 或文件的集成
数据变换——规范化和聚集
数据归约——得到数据的归约表示, 它小得多, 但产生相同或类似的分析结果:维度规约、数值规约、数据压缩
数据离散化和概念分层
数据清理的概念,数据清理包括那些方面?
数据清理——填充缺失值, 识别/去除离群点, 光滑噪音, 并纠正数据中的不一致
数据清理包括缺失值、噪声数据、不一致性、偏差检测和数据交换
数据集成和变换的概念。
数据集成——多个数据库, 数据立方体, 或文件的集成
数据变换——规范化和聚集
数据规约的概念,数据规约包括那些方面?
数据归约——得到数据的归约表示, 它小得多, 但产生相同或类似的分析结果:维度规约、数值规约、数据压缩
数据规约包括数据立方体聚集、维度规约、数据压缩、数值规约、离散化和产生概念分层
什么是数据离散化?什么是概念分层?
数据离散化——把连续属性的区域分成区间
概念分层——递归离散化属性,产生属性值分层/多分辨率划分
数据仓库与OLAP技术
数据仓库的概念
数据仓库是面向主题的, 集成的, 时变的, 和非易失的数据集合, 支持管理决策过程
为什么需要数据仓库?
数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,目的是 OLAP: 复杂的 OLAP 查询, 多维视图, 统一.
什么是数据立方体?
数据立方体将数据建模, 并允许由多个维进行观察
掌握数据立方体各种操作:上卷、下钻、切块、切片。
了解数据仓库的功能及在数据处理中的层次位置。
挖掘频繁模式、关联和相关
项集、频繁项集的概念。
设A是一个由项目构成的集合,称为项集。
如果项集的支持度超过用户给定的最小支持度阈值,就称该项集是频繁项集(或大项集)。
支持度、置信度的概念及计算。
项集A在事务数据库D中出现的次数
占D中总事务的百分比叫做项集的支持度。
support (X?→Y)=P (X u?Y)
置信度,是指特定个体对待特定命题真实性相信的程度.也就是概率是对个人信念合理性的量度
是一个条件概率P (Y | X)。confidence (X→Y)=P (Y | X)
Apriori算法的过程及应用。
1)通过迭代,检索出事务数据库中的所有频繁项集,即支持度不低于用户设定的阈值的项集;
2)利用频繁项集构造出满足用户最小信任度的规则。
分类和预测
什么是分类,什么是预测,二者有什么区别与联系?
分类和预测是两种数据分析形式
分类——用于提取描述重要数据类的模型
预测——用于预测未来的数据趋势的模型
相同点
1)两者都需要构建模型
2)都用模型来估计未知值
预测当中主要的估计方法是回归分析
线性回归和多元回归
非线性回归
不同点:
分类法主要是用来预测类标号(分类属性值)
预测法主要是用来估计连续值(量化属性值)决策树分类算法。
2、决策树分类算法。
基本算法 (贪心算法)
1)树构建:自顶向下递归地分治方式
2)开始,所有的训练样本位于根节点
3)属性是分类属性(若是连续值,事先离散化)
4)基于选择的属性,样本被递归地分割
5)基于启发式/统计测来选择测试属性 (例如 信息增益)
什么是一元线性回归分析,回归分析有什
文档评论(0)