数据仓库与数据挖掘复习资料.pptVIP

数据仓库与数据挖掘 复习 数据仓库 数据仓库基本原理、OLAP基本原理 数据仓库的模型设计和OLAP建模 数据仓库的规划和开发 SQL Server 2005与数据仓库的实现 数据挖掘 数据挖掘概念 数据挖掘基础 数据挖掘支柱： 数据、技术、模型 数据挖掘的应用 概念 W.H.Inmon对数据仓库所下的定义：数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。 数据挖掘：企业角度 指从数据库的大量数据中提取隐含、目前未知、潜在有用和最终可理解的模式（如知识规则、限制条件和规律等）的非平凡过程。 概念 数据挖掘：商业角度 是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其它模型化处理，从中提取辅助商业决策的关键性数据。 模式 定义：模式是一个用语言L表示的表达式E，它可用来描述数据集F中的数据的特征，E所描述的数据是集合F的一个子集FE。 概念 “清洗”就是将错误的、不一致的数据在进入数据仓库之前予以更正或删除，以免影响DSS决策的正确性。 元数据：是用来描述数据的数据。它描述和定位数据组件、它们的起源及它们在数据仓库进程中的活动；关于数据和操作的相关描述(输入、计算和输出)。元数据可用文件存在元数据库中。 概念 OLAP：粒度就是对数据仓库中数据综合程度的一个度量。它既影响数据仓库中的数据量的多少，也影响数据仓库所能回答询问的种类。 DM:粒度的第二种形式是指抽样率，即以一定的抽样率对数据仓库中的数据进行抽样后得到一个样本数据库，数据挖掘将在这个样本数据库上进行。 概念 维代表了用户观察数据的特定视角，如时间维、地区维、产品维等。 度量是数据的实际意义，描述数据“是什么”，即一个数值的测量指标，如人数、单价、销售量等。 数据切片、切块、上卷、下钻、转轴 数据钻取就是从较高的维度层次下降到较低的维度层次上来观察多维数据。 概念：数据挖掘 相关属性 挖掘过程中要考虑的感兴趣的属性 模式模板：给定挖掘任务，除说明要挖掘的知识类型，可进一步说明和提供所发现模式匹配的元模式、元规则、元查询：————可以用于指导发现过程 概念分层：定义一个映射序列，将低层概念映射到更一般的高层概念。 Schema hierarchy模式分层 Set-grouping hierarchy集合分组分层 Operation-derived hierarchy操作导出的分层 Rule-based hierarchy基于规则的分层 概念：数据挖掘 强关联规则（strong association rule） 同时满足用户定义的最小置信度阈值和最小支持度阈值的关联规则。 数据仓库部分 要解决“蜘蛛网”问题，必须将用于事务处理的数据环境和用于数据分析的环境分离。 这样，数据处理被分为两大类： 操作型处理(事务型处理) 操作型处理以传统的数据库为中心进行企业的日常业务处理。 分析型处理 分析型处理以数据仓库为中心分析数据背后的关联和规律，为企业决策提供可靠有效的依据。 数据仓库体系结构 数据仓库的数据组织结构 不同于一般的数据库系统，需要将从原有的业务数据库中获得的基本数据和综合数据分成一些不同的级别。在数据仓库中，采用分级的方式进行组织。 星型结构和雪花型结构 星型结构 通过将事实表和维表进行连接，我们就可以得到“星型结构”(Star-Scheme)。 雪花型结构 实际应用需求并不像标准星型结构描述的那么简单，当问题涉及的维度很多时，事实表中的条目数将迅速增长。 假定原来的事实表条目数为m，增加一个具有n个条目的维表，通常，事实表的条目数将变成m?n条，这样事实表所占用的存储空间将迅速增大。 在这种情况下，可以考虑使用“雪花型”的结构。 总的来讲，ROLAP在大数据量的存储上有绝对的优势，因此拥有巨型数据量的系统可以选择ROLAP。 MOLAP在响应速度、预运算和多维计算方面具有优势，中小型系统可以考虑使用MOLAP。 但是ROLAP和MOLAP之间的技术差异不是绝对的。现在MOLAP和ROLAP厂商正在相互借鉴，相互学习对方的技术优势。 HOLAP就是对MOLAP和ROLAP的良好折中。 数据仓库设计的基本过程： 建立企业模型； 概念模型设计； 逻辑模型设计； 物理模型设计以及数据装载接口的设计。 数据仓库的开发方法 瀑布式开发 螺旋式开发 数据仓库 应用 OLAP DM OLAP DM 在何种数据上进行数据挖掘 Relational database 关系数据库 Data warehouse 数据仓库 Transactional database 事务数据库 Advanced database and information repository Object-re