数据挖掘概念与技术引言参考.ppt

  1. 1、本文档共115页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
数据挖掘概念与技术引言参考

多维数据模型的OLAP操作 上卷操作,通过维规约,在数据立方体上进行聚集. 下钻操作,是上卷操作的逆操作,由不太详细的数据到更详细的数据. 切片和切块,切片在给定的数据立方体的一个维上进行选择,切块则是在两个或两个以上的维进行选择. 转轴操作,转动数据的视觉,是目视操作. 如图2-10所示 3.3 数据仓库的系统结构 自顶向下视图,使我们可以选择数据仓库所需的相关信息. 数据源视图,揭示被操作数据库系统捕获存储和管理的信息. 数据仓库视图,包括事实表和维表. 商务查询视图,从最终用户的角度透视数据仓库中的数据. 数据仓库设计过程 选取待建模的商务处理 选取商务处理的粒度,例如单个事务,一天的快照等 选取用于每个事实表记录的维. 选取将安放在事实表中的度量如图3-4中的dollars_sold和units_sold 三层数据仓库结构 底层数据仓库服务器,使用称作网间连接程序的应用程序,由操作数据库和外部数据源提取数据. 中间层是OLAP服务器,实现方法有 关系OLAP模型,在多维数据上的操作映射为标准的关系操作 多维OLAP模型,直接实现多维数据的操作 顶层是客户,它包括查询和报告工具,分析工具和数据挖掘工具(例如趋势分析,预测等) 数据仓库的类型 企业仓库:企业仓库收集了关于主题的所有信息,跨越整个组织,它提供企业范围内的数据集成. 数据集市:包含企业范围数据的一个子集,对于特定的用户是有用的,其范围限于选定的主题. 虚拟仓库:是操作数据库上的视图集合.为了有效地处理查询,只有一些可能的汇总视图被物化,虚拟仓库易于建立,但需要操作数据库服务器具有剩余能力. OLAP服务器类型 关系OLAP(ROLAP)模型,使用关系或扩充关系DBMS存放并管理数据仓库 多维OLAP(MOLAP)服务器,这些服务器通过基于数组的多维存储,支持数组的多维视图 混合OLAP(HOLAP)服务器,结合ROLAP和MOLAP技术,得宜于ROLAP的可伸缩性,和MOLAP的快速计算. 特殊的SQL服务器,为了满足在关系数据库中日益增长的OLAP需要,实现了特殊的SQL服务器,提供高级查询语言和查询处理,在星型和雪花模式上支持SQL查询. 数据立方体的有效计算 计算量:对一个n维数据立方体,第i维的层次是Li,则可能产生的立方体总数是T=(L1+1)*…*(Ln+1)如果10维每维4个层次产生的方体数是5的10次方=9800000. 预先计算并物化所有可能产生的方体是不现实的,较合理的是部分物化 3.4 数据仓库实现 方体的选择计算 不物化:导致运行时计算昂贵的多维聚集,速度极慢. 全物化:需要海量存储空间,存放所有预先计算的方体. 部分物化:在存储空间和响应时间二者之间提供了很好的折衷. 多路数组聚集 将数组分成块,块的大小能够放入立方体计算时可用的内存. 通过访问立方体单元进行聚集,使得每个单元必须重新访问的次数最小化. 索引OLAP数据 位图索引:如图3-17所示,与散列和树索引相比,位图索引将比较,连接和聚集都变成了位算术运算,大大减少了运行时间. 连接索引:源于关系数据库的查询处理. 位图连接索引:将连接索引和位图索引集成. OLAP查询的有效处理 确定那些操作应当在可利用的方体上执行,这涉及将查询中的选择投影上卷下钻操作转换成对应的SQL或OLAP操作. 确定相关操作应当使用哪些物化的方体,这涉及到找出可能用于查询的所有物化方体. 具体步骤 考察的方体必须与查询具有相同的维集合,或是它的超集. 选择代价最小的方体. 元数据存储 元数据是定义数据仓库对象的数据.元数据 的存储包括 数据仓库结构的描述 对元数据的操作 汇总用的算法 由操作环境到数据仓库的映射 关于系统性能的数据 商务元数据 数据仓库后端工具 数据提取:从多个异种的外部数据源收集数据. 数据清理:检测错误,可能时修改错误. 数据变换:将数据转换成数据仓库格式. 装入:排序,综合,合并,计算视图,检查整体性,并建立索引和划分. 刷新:传播由数据源到数据仓库的更新. 数据仓库的维护 系统维护:是在系统已经交付使用之后为了改正错误和为了满足新的需要而修改系统的过程。 数据仓库中数据的日常管理工作: 清除过时的、不再使用的数据; 定期从源数据中提取数据,刷新数据仓库中的数据; 管理元数据等。 数据仓库系统的完善工作: 改正性维护:在数据仓库设计与开发过程中,虽然已经进行了严格的测试,但对于一个大型的系统可能还潜藏着一些错误,改正性维护就是为了发现和改正这些错误而进行的过程。 适应性维护:数据仓库的构建是基于当时的技术条件的,由于计算机科学技术发展十分迅速,每隔一定的周期硬件设备和系统软件都会发生重大的变革,适应性维护就是为了与变化了的环境相配合而进行的对系统进行修改的

您可能关注的文档

文档评论(0)

2017meng + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档