企业数据集市建设中数据仓库研究应用.pdfVIP

《冶金自动化》20lo年S2 企业数据集市建设中数据仓库的研究及应用 盛娟 (武汉钢铁工程技术集团自动化有限责任公司，湖北武汉430080) 摘要：介绍数据仓库的基本理论以及应用的关键技术，并以武钢国贸数据集市的建立为例，介绍数据集市设计 和实施的过程，总结建设过程中遇到的问题和解决方法。 关键词：数据集市；数据仓库；数据抽取 O前言 贸数据集市为例，介绍数据仓库在企业中的应用。 计算机网络与数据库技术的迅速发展和广泛 1系统概述 应用，使得企业管理进入一个崭新的时代。广大 武钢计划构建企业级数据仓库，为了控制项 基层管理人员摆脱了繁重的制表业务和数据处理 目风险，保证项目有序开展，整个项目将分为多个 工作，管理工作进一步规范化，企业建立了各种在 阶段进行实施和投产，同时达到边投产边收益的 线事务处理信息系统，对各种日常业务处理提供 目的．在项目的第一阶段，武钢将以国贸公司采购 了有效的支持。然而，面对当今竞争日趋激烈与 和库存源系统作为试点，将系统源数据整合集成 瞬息万变的市场，各级管理人员迫切需要根据企 到数据仓库数据模型，并提供固定报表及查询、 业的现状和历史数据做出判断和决策。因此，各 KPI、灵活查询分析等应用。并且同时第一阶段将 级管理人员希望能够从企业信息系统中获取有效 以国贸为试点建制企业级数据仓库的基础框架， 的、一致的决策支持信息，及时准确地把握市场变 包括系统架构、需求分析、源系统信息分析、模型 化的脉搏，做出正确有效的判断和抉择。也就是 构建、数据仓库应用等方面，这些基本框架或方法 说，数据处理的重点，应该从传统的业务处理扩展 将为武钢后续企业级数据仓库的建设提供基础和 到在线分析处理，并从中得到面向各种主题的统 方法论。 计信息和决策支持信息。随着企业事务处理系统 2数据集市的设计 的运行和建立，数据量越来越大，企业数据源越来 (1)数据范围 越多，这种需求就比以往任何时候都更加迫切，也 在数据仓库一期工程中，要采集和查询的数 更加难以实现。数据仓库就成为了针对上述问题 据范围如表1所示。系统中历史全量数据大约为 40 而产生的一种技术解决方案，数据仓库是一个面 GB左右。 向主题的、集成的、永久的且随时间不断变化的数 (2)技术功能需求分析 据集合，用于支持管理层的决策。下面以武钢国 武钢数据仓库一期项目中技术上主要实现以 裹l采集查询数据范围 收稿日期：20LO-05-31 作者简介：盛娟(1979．)，女，湖北武汉人，工程师，主要从事企业信息化工作。 ·418· 《冶金自动化)2010年s2 F功能： 数据文件，然后m到文件服务器．通过ELT的文 1)建立数据仓库系统技术架构。数据仓库系 件触发的方式触发ELT作业进行数据加载，在 统未来将定位于企业的数据服务中心，是IT架构 Greenplum中可调用外部丧进行并行数据加载到 中重要的组成部分，凼此系统功能设计和架构设 DW的临时数据区。 计上需具有较高的行业水准和行业前睹性。标准 的数据仓库系统由数据源层(DataSouse)、数据 t*《 n§{《 抽取层(ELT／ETL)、数据仓库层(D