星型模型在复杂数据仓库环境中应用探讨.docVIP

星型模型在复杂数据仓库环境中应用研究 　　摘要： 针对数据仓库中分散数据的整合问题，本文基于商用BI工具COGNOS对星型结构数据模型进行优化，创建底层模型和数据立方体。运行结果显示，数据模型易于整合分散事实数据，性能优越 Abstract： As to the integration of the scattered data in data warehouse， in this paper， we optimized the model of star structure， and create the underlying model and data cube based on the commercial BI tool COGNOS. The running results show that the data model is easy to integrate the dispersed data， and the performance is superior. 关键词： 星型模型；数据整合；位图索引；计算量；数据仓库 Key words： Star Model；data integration；bitmap index；computational quantity；data warehouse 中图分类号：TP311 文献标识码：A 文章编号：1006-4311（2015）31-0077-03 1 概述 在目前石油行业信息系统中，业务数据不断集聚。在这些不断增长的海量业务数据中蕴含着大量有用信息。为有效挖掘出蕴含在这些海量数据中的业务规律，本文基于这些地域分布广泛、用户类型繁多的海量业务数据，采用商用BI工具cognos，对星型模型进行改进后整合事实数据，建立汇总数据源有效支撑了数据规律的分析与展现 2 相关概念 2.1 数据仓库 数据仓库是一个面向主题的、集成的、不可更新的、随时间变化以支持管理层决策的数据集合[1] 2.2 星型模型 2.2.1 星型模型[2]的定义 定义四元组，其中： ①Di为从域DIM（i）中抽取的维度名，定义n个维度名的集合D={D1，D2，D3，…，Dn} ②Mi为从域MEASURE（i）抽取的度量名，定义k个度量名的集合M={M1，M2，M3，…，Mk} ③维度名集合和度量名集合不相交，即D∩M=？?I；维度名集合与度量名集合的并集为事实表F，即F=D∪M ④Ai为从域DOMATTR（i）中抽取的属性，定义t个元素的集合A={A1，A2，A3，…，At} ⑤定义f：D→A为一对多映射，即每个维度名对应一个属性集合。不同维度名对应的属性集互不相交 2.2.2 星型模型的优势[3] 星型模型基于一个特定的主题，体现了数据库对数据结构和组织的要求。由于结构简单，易于数据的操纵和理解，且具有良好的数据连接路径，在整个数据仓库生命周期中易于修改及增补。由于包含用户查询和分析的所有属性，查询过程简单化。通过星型连接与星型索引，进一步提高OLAP查询性能。查询效率高。基于星型模型的数据经过预处理后放到事实表中，无需进行大表联接，只需扫描事实表即可查询，因此访问效率高；甚至可以充分利用维表占用空间小的特点，把维度表放在高速缓存中，进一步提高查询效率 3 基于星型结构的数据模型设计 3.1 整合事实数据 对于同类性质、分散于多个事实表中的业务数据建立数据模型，通过整合多个事实表中的业务数据以满足数据展现层跨域取值的事实数据需求，扩充数据分析涉及数据范围。在底层数据模型中通过UNION不同事实表中业务数据，构建统一虚拟事实表解决数据分散这一问题，如图1所示为实际应用中底层编码实现构建虚拟事实表的基本模式 即各个事实表业务数据集合并运算形成统一业务数据集，多张事实表对外整合为一张事实表数据块整合示意图，如图2所示。虚拟事实表作为一个整体，通过JION方式关联各维度表，形成星型结构 3.2 维度表关联事实表 虚拟事实表通过各外键关键字与相关维度表主键关键字建立关系实现事实表与维度表的关联，建立星型结构数据模型，如图3所示为石油行业中基于星型结构的一种数据模型样例 3.3 规划不同业务逻辑 区分不同的数据请求性质，如图4所示，经常性数据请求（比如时间维度信息、机构维度信息等）可以先行提取作为共性业务逻辑进行预运算，偶然性数据请求（比如特定维度下指标量）推迟至客户端实现计算，有效减少共性运算的重复计算，从而减少整个算题的计算量[5] 布局不同的计算位置，如图5所示，进行数据整合时，充分运用服务器端计算资源，共性业务逻辑提前在服务器端数据模型中进行预运算，减少客户端计