浅谈数据中心在现代企业应用.docVIP

浅谈数据中心在现代企业应用 　　[摘要]提出ODS在数据中心建设过程中的应用,并且描述建立主题数据库的整个过程,最后对数据中心在本企业的应用作一些设想和展望。 　　[关键词]业务系统ODS数据转储方式主题数据库事实表 　　中图分类号:TP-9文献标识码:A文章编号:1671-7597(2009)1220043-02 　　 　　一、前言 　　 　　经过多年的信息化建设,兰烟已经建设了企业资源管理系统、生产执行系统等等信息化系统,这些系统在很大程度上提高了公司的生产和管理效率,也对公司生产和管理各个环节的数据进行采集和储存。但是缺乏对业务数据有效利用,缺乏对数据加工、分析、挖掘的系统。如何挖掘出藏在这些数据背后的信息,从而科学、全面、快速地分析、挖掘这些数据,找出数据背后隐藏的规律,为企业的决策提供支持,为领导决策提供支持成为企业信息化工作开展到今天急待解决的一个问题。 　　 　　二、实现方法 　　 　　(一)实现方法 　　1.数据源。兰烟数据中心建设的数据源主要包含ERP、MES、物流系统、制丝管控系统、卷包数采系统和未来需要建设的CRM、PLM和物流执行系统等。这些系统基本上没有完整的数据访问接口。 　　2.ODS。ODS(操作数据存储)是一个集成和集中化的细节级数据存储,是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。由多个主题的企业级数据组成,包括底层的、细粒度的、干净的数据。它是所有查询、报表、多维分析及数据挖掘等应用的数据基础。 　　 　　(二)数据集市 　　数据集市中的数据可以来自于ODS、基础数据仓库、甚至直接经过数据交换从数据资源获得;其支持的前端应用可以是事物型、分析型、或两者兼有。 　　 　　(三)多维数据库 　　根据具体应用的需要,多维数据库可以直接建立在基础数据仓库之上,或建立在数据集市之上。 　　上面对数据中心主要建设阶段分别作出解释,下面就建设模式做简单的分析: 　　1.功能视图。功能视图主要描述了兰烟的业务需求和数据应用需求,为数据中心建设向技术实现视图转化提供业务功能范围。 　　结合建设思路中的模式分析,从兰烟现有业务系统和规划建设的业务系统着手,将分散在业务系统中的数据通过ETL过程集中存放在ODS中。 　　在ODS基础上,开发仪表盘、分析报表和查询报表等BI常用功能,同时可以在ODS主题模型基础上,开发基于各个业务主题的分析决策功能。 　　2.实现视图。实现视图描述了数据中心建设中数据的存储部署、数据流向和数据的应用。将业务系统数据源可以分成关系数据、非结构数据、遗留系统数据和外部数据源,这些都分散存储在相应的业务系统数据库、文档或者通过接口实现的数据访问中。 　　在ETL的抽取、转换、装载过程中将业务数据集中存储在数据分段区中,元数据和业务数据分开存储。数据中心存储去中按照逻辑的主题模型存储业务数据和本地元数据。最后在ODS中的数据用于展现和分析。 　　 　　(四)维度设计与抽取过程建设内容(维库设计过程) 　　先按照多维数据要求设计维度列表,如日、周、旬、月、季度、半年、年等时间维,组织维、层次结构的区域维等,需要在BI中展现关联使用的维均需要在维库中先定义。维数据的设计需要参照IRP建设后的基础数据编码标准。 　　1.维结构。如下的定义了销售区域维中的三个层次: 　　2.维模型。如下显示了三层销售区域维模型: 　　3.维映射。将指定的表属性(字段)内容映射到维属性上,如ID对用是维中定义的ID,Caption定义是维中的名称(NAME)。 　　4.清洗转换。在维设计中一般需要将源系统中的数据经过转换和清洗才能抽取到目标数据库中。 　　5.更新机制。下图定义了时间更新的机制,如: 　　6.简单维数据ETL。如下是简单维数据抽取创建模型,简单维数据抽取仅仅将定义的维库中的数据从源数据库中抽取到目标数据库中。 　　7.维数据ETL。 　　总体模型 　　下图展示了复杂维数据的抽取过程,从多个数据源中分别抽取,再将定义的维通过传输模型将数据映射到目标数据库中的字段中,最后形成了需要的目标维数据表。 　　8.映射机制。通过数据流将数据映射到设计的中间转换模型中,最后将数据映射到目标表中。 　　9.维数据抽取。通过传输模型设计,可以将数据抽取到定义的目标维中,也可以将维表中的数据抽取到其他需要的维表中。 　　主题模型的设计是数据中心建设中存储在ODS中的业务模型,主题模型没有固定的设计模式,需要分析现有业务系统中能提供的业务数据,同时结合业务管理的需要进行分析和设计。必要的时候会要求业务系统调整和增加数据字段,达到主题模型中能抽取到数据的目的。 　　下面举例说明了一些常规的业务主题模型。 　　成品主题数据