浅谈翟镇煤矿数据库建设1.docxVIP

??

?

??

浅谈翟镇煤矿数据库建设

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

摘要：企业数据库是按照数据结构来存储、组织以及管理企业数据的集合。可以把数据库简单的定义为按一定组织方式存储在一起的、具有一定相关性的、为用户所共同关注的全部数据的集合。下面就翟镇煤矿数据库的建设进行一下简单的探讨。

关键词：企业；数据库；翟镇煤矿

1现状分析

目前翟镇煤矿还没有建设统一的矿级数据仓库系统，业务系统的数据只是存放在各业务信息系统数据库中。数据彼此相互独立且缺乏关联一致性。

各个业务系统中相对独立的数据仅在本业务系统中，通过管理软件自带的简单报表分析工具，进行简单汇总分析能力。当需要同其他系统提供数据或使用其他系统的数据时，只能采取人工重复录入、定制开发接口等方式实现，没有标准统一的接口规范和规格。

2存在的问题分析

2.1业务系统做大数据分析的局限性

?

业务系统数据库的数据存储方式和数据表设计规范都是按照在线事务系统（OLTP）的方式，决定了其不适合作为数据分析应用。

并不是所有的业务系统都提供分析功能，一些老旧的业务系统并没有提供分析功能；单业务直接简单的报表统计和汇总分析汇集到矿领导时往往出现口径不一致、数据不匹配、展示不全面的现象。

按照在线业务系统数据存储和安全管理规定，以及其响应速度和效率的考虑，各业务系统的数据库存取效率较低，直接在各业务系统中进行数据抽取和分析将严重拖累业务系统运行效率。

跨系统的数据交换需要定制开发接口，往往造成一个系统需要开发多个接口为不同的系统提供相同的数据，造成维护工作量极大，而且系统一旦升级更新，所有接口必须全部重写。

3数据仓库建设目标及内容

3.1建设目标

数据仓库是一个数据决策和大数据分析的支撑环境，它通过从不同的业务信息系统中获取数据源的实时数据，将分散的业务数据进行组织，并集中存放在一个专业的数据仓库中，方便地从中进行信息查询、产生报表和进行数据分析等。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

3.2数据建设内容

本系统的主要建设内容如下：

确定数据仓库的存储机制、业务分析的数据模型，以及数据仓库与源数据库的映射关系等。数据仓库设计工作在全息矿井的建设中应最先开始，只有完成了数据仓库的设计，才能开始数据采集的调度设计；而且，业务功能分析应用的开发也能够同步进行。未来大数据分析的总体架构图

图2.1总体架构图

从图中可以看出，数据仓库是未来智慧化矿井大数据分析的基础，联系分析处理和数据挖掘是数据仓库上的两类不同目的的数据增值操作。联机分析（OLAP）工具是数据汇总/聚集工具，它提供切片、切块、下钻、上卷和旋转等数据分析操作，简化用户的数据分析工作。数据挖掘支持知识发现，包括找出隐藏的模式和关联，构造分析模型，进行分类和预测，并用可视化工具提供挖掘结果。数据分析工具和数据挖掘工具可以配合使用，由数据分析为数据挖掘提供预期的挖掘对象和目标，避免挖掘的盲目性。可以说，数据仓库、OLAP和数据挖掘技术是企业BI的三大支柱。

系统最左端为基础数据层，主要包括统一的基础业务系统平台和各种外部数据；数据抽取/转换/加载模块通过对基础数据层数据的抽取、净化和转换，形成的统一信息层——ODS（操作数据存储）层，在逻辑和存储上对业务处理系统与数据仓库进行隔离；

核心数据层为多维模型存储层，通过对ODS层数据的抽取、净化和转换而形成的按照多维模型进行存储的、综合了统计元素库、包括了从细节级、轻度综合、中度综合直至高度综合各级粒度的OLAP分析数据层，是按照主题分析的需要建立的企业级全局数据存储；在核心数据层之上通过联机分析（OLAP）和数据挖掘等的分析引擎，构建经营分析决策支持应用；

最右端为展现层，为按客户机、浏览器等各种接入方式的用户提供决策分析的结果。

通过矿级数据仓库的信息知识仓库和各个主题数据集市，将来可以利用大数据分析工具利用信息智能检索、非结构化信息分析、OLAP分析、数据挖掘以及即席报表的各项KPI指标进行综合分析，产生各项有意义领导决策和未来信息趋势预测等信息。

3.3数据仓库

建设数据仓库是一个长期的工程，如果在数据仓库规划之初实现所有业务的建模是相当难的，而且不易看到数据仓库的成果，用户在等待半年甚至更长时间仍然看不到提供给他们的信息，必定对项目的建设是个阻碍。因此，数据仓库设计建议采用结构化的、增量式的开发方法，也就是所谓总线架构模式。总线架构模式类似于硬件体现中的“总线”结构，当一个新的硬件接口卡设备投入使用时，只需要将接口卡插入总线插槽中即可。数据仓库总线架构也与之类似，如果系统定义好适合于集