数据挖掘概念与技术引言教材.ppt

*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;第3章数据仓库和数据挖掘的OLAP技术;数据仓库的发展;数据仓库的发展;数据仓库的发展;数据仓库的我国的发展;数据挖掘的发展;3.1数据仓库(Data Warehouse);数据仓库的适用范围;数据仓库中数据的特点;面向主题;集成性;稳定性;时变性;支持管理决策;数据仓库的技术要求;操作数据库与数据仓库的区别;事务型处理与分析型处理;分析型处理;事务型处理数据和分析型处理数据的区别 ;OLTP和OLAP的区别;数据库设计: OLTP采用实体-联系ER模型和面向应用的 数据库设计. OLAP采用星型或雪花模型和面向主题的数 据库设计. 视图: OLTP主要关注一个企业或部门内部的当前 数据,不涉及历史数据或不同组织的数据 OLAP则相反.;访问模式: OLTP系统的访问主要由短的原子事务组成. 这种系统需要并行和恢复机制. OLAP系统的访问大部分是只读操作.;为什么需要分离的数据仓库;3.2 多维数据模型;多维数据库模式;定义模式的例子;定义维 Define dimension time as (time_key,day,day_of_week,month,quarter,year);度量的分类和计算;代数的: 如果一个聚集函数能够由一个具有M个参数的代数函数计算,且每个参数都可以用一个分布聚集函数求得.如avg()可以由sum()/count()计算,其中sum()和count()是分布聚集函数.;整体的: 如果一个聚集函数无法用具有M个参数的代数函数进行这一计算,则这个函数称是整体的,如rand()等 许多度量可以用关系的聚集操作计算 对应图2-4,我们也可写出SQL语句.;计算dollars_sold和units_sold;概念分层;多维数据模型的OLAP操作;3.3 数据仓库的系统结构;数据仓库设计过程;三层数据仓库结构;顶层是客户,它包括查询和报告工具,分析工具和数据挖掘工具(例如趋势分析,预测等);数据仓库的类型;OLAP服务器类型;特殊的SQL服务器,为了满足在关系数据库中日益增长的OLAP需要,实现了特殊的SQL服务器,提供高级查询语言和查询处理,在星型和雪花模式上支持SQL查询.;数据立方体的有效计算;方体的选择计算;多路数组聚集;索引OLAP数据;OLAP查询的有效处理;具体步骤;元数据存储;数据仓库后端工具;数据仓库的维护;进一步发展和探讨;3.6 从数据仓库到数据挖掘;联机分析挖掘(OLAM);环绕数据仓库的有价值的信息处理基础设施:谨慎的做法是尽量利用可用的基础设施,而不是一切从头做起. 基于OLAP的探测式数据分析:有效的数据挖掘需要探测式数据分析.用户常常想在不同粒度上分析它们.联机分析挖掘提供在不同的数据子集和不同的抽象层上进行数据挖掘的工具. 数据挖掘功能的联机选择:用户常常不知道想挖掘些什么.通过将OLAP与多种数据挖掘功能集成在一起,联机分析挖掘为用户选择所期望的数据挖掘功能动态修改挖掘任务提供了灵活性