数据库原理与设计 教学课件 作者 杨海霞 第9章 数据挖掘与数据仓库技术.pptVIP

数据库原理与设计 第9章 数据挖掘与数据仓库技术 第9章 数据挖掘与数据仓库技术 数 据 挖 掘 数 据 仓 库 与 OLAP 数据仓库的设计与实施 SQL Server 2000 Analysis Services 使用Analysis Services创建数据挖掘模型 开 发 OLAP 应 用 数据挖掘（Data Mining，DM）是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但是潜在有用的信息和知识的过程。 在不同的信息存储形式上，采用不同的挖掘方法，可以获得不同类型的知识。 挖掘的数据源可以是关系型数据库、数据仓库、各种新型数据库甚至包括Web资源 通过采用神经网络、决策树、遗传算法等不同方法. 可以挖掘出关联知识、预测知识、分类等知识。 数据挖掘的主要步骤 数据挖掘的主要步骤(1) 数据挖掘的主要步骤(2) 不同存储形式的数据挖掘 1．关系型数据库中的数据挖掘。 2．数据仓库中的数据挖掘 3．面向应用的新型数据源中的数据挖掘 4．Web数据源中的数据挖掘 数据仓库与OLAP 数据仓库是一种为信息分析提供良好基础并支持管理决策活动的分析环境，是面向主题的、集成的、稳定的、不可更新的、随时间变化的、分层次的多维的集成数据集合。数据仓库技术让用户能更快、更方便地查询所需要的信息，以便进行决策支持。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 关系型数据库与数据仓库中的区别 数据仓库基本术语(1) 主题 主题是一个较高层次上的数据归类，是将企业信息系统中的数据进行综合、归类并进行分析利用的抽象。它对应企业某一宏观分析领域所涉及的分析对象，每一个主题都是决策者所关心的问题。 粒度（Granularity） 粒度是指数据仓库中数据单元的详细程度和级别，数据越详细，粒度越小，级别就越低；数据综合度越高，粒度越大，级别就越高。 数据仓库基本术语(2) 维度（Dimension） 维度是指人们观察事物的角度。例如，关心产品在不同时间的销售变化情况，时间就是一个维，如果关心产品在不同地区的销售情况，地区就是另外一个维。 维是有层次结构的，如描述时间维可以从日期、周、月份、季度、年等不同层次来描述，这里日期、周、月份、季度、年等就是时间维的层次。 数据立方体（Cube） 数据立方体是指由两个或更多维来描述的数据。数据仓库是多维的，通常数据立方体也不仅仅包含三维，大多数会包含三维以上的维度，这样的数据集称为数据立方体 OLAP的基本功能 旋转（Pivot） 钻取（Drill through） 切片和切块（Slice or Dice）。 OLAP的存储结构 OLAP的存储结构 MOLAP是指OLAP数据存储在多维数据库中，使用专用的多维结构存储分区的事实和聚合某个维度。在MOLAP中，所有的聚合都预先计算好，并以文件结构保存。 MOLAP模型导致大量数据负载。 有很快的查询反应速度。可以利用多维查询语言（MDX)方便进行多维数据集的查询。 ROLAP是使用关系数据库中的表存储多维结构的存储模式。数据保存在RDBMS中，聚合仅在需要时才计算出来. 这种方法反应虽然较慢，但是最灵活。 HOLAP是MOLAP和ROLAP的结合。这种模型中，一部分聚合是预先计算的，而另一部分则是从保存在DBMS中的数据中计算出来的。 这种模型对于大多数常用查询有最快的反应速度，因为它们的聚合是预先算好的，而它又为切分数据保存了所有基本数据。 数据仓库的设计与实施 数据仓库的设计需要： 确定主题 确定粒度 建立维度 确定数据装载策略 设计数据存取工具和不间断的维护方案。 SQL Server 2000 Analysis Services SQL Server的数据仓库组件 可以提供数据仓库 提供决策树和聚集两种挖掘模型 创建数据仓库 建立数据库和数据源 建立维度 建立多维数据集 浏览多维数据集 使用Analysis Services创建数据挖掘模型 决策树 决策树算法是基于分类概念的，以树的结构显示分类形式，树结构中的结点代表进一步对数据进行分类的单个问题。决策树算法可以构造树，并进行预测。 聚集 聚集是按特定的标准将数据归类成组，它使用迭代完善技术将记录分组到附近区域（聚集），以展示相似性，预测具有的特征。 数据库原理与设计 数据库原理与设计 传统的数据库技术主要用于联机事务处理（Online Transaction Process，OLTP），数据库里保存着大量的日常业务数据和事务数据。由于数据量庞大以及数据库系统中分析方法的严重缺乏，人们很难通