数据库原理与设计第9章 数据挖掘与数据仓库技术.pptVIP

数据库原理与设计 数据库原理与设计 第9章 数据挖掘与数据仓库技术 数据库原理与设计 第9章 数据挖掘与数据仓库技术 数 据 挖 掘 数 据 仓 库 与 OLAP 数据仓库的设计与实施 SQL Server 2000 Analysis Services 使用Analysis Services创建数据挖掘模型 开 发 OLAP 应 用 传统的数据库技术主要用于联机事务处理（Online Transaction Process，OLTP），数据库里保存着大量的日常业务数据和事务数据。由于数据量庞大以及数据库系统中分析方法的严重缺乏，人们很难通过传统的方法发现数据中隐藏的相互联系，更无法根据当前的数据去预测未来的发展趋势。 数据库原理与设计 数据挖掘（Data Mining，DM）是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但是潜在有用的信息和知识的过程。 在不同的信息存储形式上，采用不同的挖掘方法，可以获得不同类型的知识。 挖掘的数据源可以是关系型数据库、数据仓库、各种新型数据库甚至包括Web资源 通过采用神经网络、决策树、遗传算法等不同方法. 可以挖掘出关联知识、预测知识、分类等知识。 9.1 数 据 挖 掘 数据库原理与设计 数据挖掘的主要步骤 数据库原理与设计 数据挖掘的主要步骤(1) 1．数据收集 数据可以来自于关系型数据库、数据仓库、Web上非结构化的文件，不同的数据存储，需要不同的数据收集方式。 2．数据整理 数据收集阶段得到的数据存在一定的“污染”（例如，自身不一致性、存在缺失数据），必须对数据进行一定的整理。 通过数据整理，可以对数据做简单的泛化处理，从而在原始数据的基础之上得到更为丰富的数据信息，进而便于下一步数据挖掘的顺利进行。 ? 数据清洗 ? 一致性处理 ? 数据泛化 ? 添加缺失数据 数据库原理与设计 数据挖掘的主要步骤(2) 3．数据挖掘 根据任务要求，选择合适的挖掘方式，产生感兴趣的知识。不同的知识类型所选取的挖掘方法也不同。 4．数据挖掘结果的评估 根据用户经验，也可以直接用实际数据来验证模型的正确性，进而调整挖掘模型，不断重复进行数据挖掘。 5．分析决策 决策者可以利用数据挖掘的结果，结合实际情况，调整竞争策略等。 以上数据挖掘经过的各个环节并不是单一流程，只有经过多次的循环反复，才可能达到满意的结果。 数据库原理与设计 不同存储形式的数据挖掘 1．关系型数据库中的数据挖掘。 2．数据仓库中的数据挖掘 3．面向应用的新型数据源中的数据挖掘 4．Web数据源中的数据挖掘 数据库原理与设计 数据仓库与OLAP 数据仓库是一种为信息分析提供良好基础并支持管理决策活动的分析环境，是面向主题的、集成的、稳定的、不可更新的、随时间变化的、分层次的多维的集成数据集合。数据仓库技术让用户能更快、更方便地查询所需要的信息，以便进行决策支持。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 数据库原理与设计 关系型数据库与数据仓库中的区别 关系型数据库 数 据 仓 库 操作型数据 分析型数据 细节的 综合的或提炼的 在存取瞬间是实时的 代表过去的数据 可更新的 不可更新的 操作需求事先可知 操作需求事先不可知 一个时刻操作一个单元 一个时刻操作一个集合 事务驱动 分析驱动 面向应用 面向分析 支持日常操作 支持管理需求 数据库原理与设计 数据仓库基本术语(1) 主题 主题是一个较高层次上的数据归类，是将企业信息系统中的数据进行综合、归类并进行分析利用的抽象。它对应企业某一宏观分析领域所涉及的分析对象，每一个主题都是决策者所关心的问题。 粒度（Granularity） 粒度是指数据仓库中数据单元的详细程度和级别，数据越详细，粒度越小，级别就越低；数据综合度越高，粒度越大，级别就越高。 数据库原理与设计 数据仓库基本术语(2) 维度（Dimension） 维度是指人们观察事物的角度。例如，关心产品在不同时间的销售变化情况，时间就是一个维，如果关心产品在不同地区的销售情况，地区就是另外一个维。 维是有层次结构的，如描述时间维可以从日期、周、月份、季度、年等不同层次来描述，这里日期、周、月份、季度、年等就是时间维的层次。 数据立方体（Cube） 数据立方体是指由两个或更多维来描述的数据。数据仓库是多维的，通常数据立方体也不仅仅包含三维，大多数会包含三维以上的维度，这样的数据集称为数据立方体 数据库原理与设计 OLAP的基本功能 旋转（Pivot） 钻取（Drill through）