基于ETL应用的商业决策信息系统的设计与实现.doc

摘要

PAGE24

摘要

摘要

随着信息管理系统的应用的增多，企业的业务系统中产生了越来越多的数据孤岛。怎样把数据孤岛利用起来，于是就产生了ETL概念。ETL指的是数据抽取、数据转换和数据加载，他们在构建数据仓库过程中占到了极其重要的地位。在如今社会中，信息在企业中的地位日趋重要，是企业进行科学的管理以及决策分析的基础。目前，大部门企业在构建业务系统和办公自动化系统中花费了大量的时间和资金，用来记录业务处理的各类数据。在普遍情况中，企业的数据量每2年左右就会翻倍增长，数据中隐藏着大量的商业价值，但是往往企业所能运用的仅仅只占总量的4％左右。企业并没有将这些数据资源加以最大化地利用，从而浪费了更多的资金以及时间，更在制定商业决策时候失去了先机。于是，企业如何运用技术手段，将这些业务数据更好加以利用，已成为提高企业竞争力的瓶颈。

本文以国内某企业为研究背景，根据公司决策层的需求，分析和设计了适合公司决策支持的数据仓库物理结构和逻辑模型，并对数据抽取、转换、装载(ETL)和数据清洗等技术进行了具体地应用实践，设计并实现了可满足决策分析所需的数据仓库及其相关的ETL工具。本论文的主要研究内容和成果概述如下：

首先，在调研该企业的组织机构、业务系统和企业管理流程的基础上，分析和设计了适合该公企业实际需要的数据仓库的五大模块，即财务模块、供应链模块、成本模块、生产制造模块和人力资源模块。采用星型和雪花模型结合的方式，设计了五大模块的逻辑和物理模型。根据企业具体情况，在操作数据存储(ODS)下创建了数据仓库。

其次，设计了一个ETL工具以解决半结构化数据的抽取。运用DOM对象对数据源进行分析，从企业实际出发设计的ETL工具，能够将企业财务软件导出的XML格式数据加载到数据仓库中，也解决了商用的ETL工具无法对XML文档进行直接抽取、加载的弊端，解决了企业数据分析的实际困难。

最后，设计了基于结构化数据的ETL工具。在该企业实际运行的业务系统中，基于ORACLE和SQLSERVER的结构化数据占了大多数，基于结构化数据的ETL工具，给用户开放了自行设计清洗函数接口，解决了商用ETL工具清洗函数的不可扩展问题。另外，并且在元数据中保存了数据提取的SQL脚本，降低了同种SQL多次执行时重编译的时间开销。

关键词：ETL，ERP，数据仓库，XML，ODS

Abstract

Abstract

III

II

Abstract

Withtheincreasingapplicationoftheinformationmanagementsystem,enterprisesinthebusinesssystemhashadmoreandmoredataisland.Howtousethesedataisland,thiscreatedtheconceptofETL.ETLisadataextraction(Extract),dataconversion(Transform)anddataloading(Loading),istobuildadatawarehouseisextremelyimportantpart.Intodayssociety,informationistheimportantresourceofenterprise,istheenterprisewithscientificmanagement,decisionanalysisbased.Atpresent,mostcompaniesspendalotoftimeandmoneytobuildonlinetransactionprocessingmanagementsystemandofficeautomationsystem,usedtostorethetransactionrelateddata.Accordingtostatistics,theamountofdataevery2to3yearstimewillgrowexponentially,thesedatacontainsahugecommercialvalue,andenterpriseconcernoftenonlyaccountsforthetotalamountofdatafrom2%to4%.Therefore,theenterprisestillnotmaximizetheuseofexistingdat