构建集团数据管理架构,支撑数据资源开发利用(2005年创新成果).doc

PAGE 4构建集团数据管理架构支撑数据资源开发利用管理信息部 通钢集团是国有大型钢铁联合企业集团，涵盖采矿、选矿、烧结、焦化、炼铁、炼钢、轧钢及机械制造在内的整套钢铁冶炼及压延加工工艺流程，以及水、电、煤气、氧气、铁路运输、汽车运输等动力、能源的生产和供应体系，其特点是企业规模大型化、生产工艺流程长、工序之间联系紧密、数据信息量大、信息处理业务繁杂。按照“信息化带动工业化、工业化推动信息化”的要求，通钢集团根据各专业管理部门和生产经营管理工作的需要由深圳金蝶公司开发了K3基础物流和扩展物流多个专业信息管理系统，有效地提升了企业生产、经营、管理各项工作的水平。各专业系统的数据资源如何进行整合和利用，更好地为决策服务，成为摆在通钢信息管理人员面前的重要课题。只有对各专业系统的数据进行有效管理、提取有用的资源再利用，构建一套科学完整的数据管理架构，来支撑数据资源的开发和利用，才能使信息资源更高效地为管理和决策服务，从而全面提升企业核心竞争能力。 一、课题的提出综观企业信息化，主要包括硬件、软件和数据三大部分的建设和管理工作。其中硬件是基础，软件是平台，数据管理是根本核心，也是最高层次。“三分技术、七分管理、十二分数据”，就说明仅有硬件和软件系统并不等于成功和完善的企业信息化，更重要的是要构建一套科学、合理的企业数据管理体系架构，以实现有效支撑数据资源的深入开发和利用工作。目前公司信息系统的大多数数据信息仍停留在操作层，在数据库中，存放着大量的基础数据，这些数据是系统重要的基础资源，但它们没有经过分类、组织、加工、浓缩，数据量极大，细节数据过多，历史数据的管理也不规范，造成当前数据缺乏高效的集成，难以供管理者和决策者使用，这种情况造成了数据资源的严重浪费。为了对这些数据资源进行充分的利用，必须将系统内外的相关数据，包括历史数据进行有效的集成，针对管理者和决策者的需求，对这些数据进行结构上的重组和设计，使这些数据转化成统计、分析和辅助决策信息，这些信息能够被管理者和决策者从各个角度反复使用，只有这样，才能最大效率的利用信息资源，真正体现信息系统的价值。二、构建集团数据管理架构的实施内容（一）构建集团数据管理架构的目的构建集团数据管理架构的目的就是为充分利用数据资源，通过统计分析系统和数据挖掘工具，通过对系统内的数据资源分类、整和，形成客观的分析结果并直观地展现给企业管理者，为决策提供支持服务。（二）通钢集团数据管理体系的架构根据通钢集团各专业管理信息系统操作层数据到生成在线决策支持产品这条线，将通钢集团数据管理体系的架构分为四层结构，即：操作数据层、数据清洗转储层、数据仓库层和数据在线分析层，具体如下图所示：. (三) 通钢集团数据管理体系各层次的涵义和功能：1、操作数据层(ODS)ODS (Operate Data Save)——操作数据存储。在这一层次中主要包括企业内部的采购数据、生产数据、质量检斤数据、销售数据、财务成本数据、人事数据等。但仅仅拥有企业内部数据并不能满足企业在激烈的市场竞争中占有大量数据信息资源的需求，因此还必须对企业外部浩如烟海的数据进行甄别和筛选，把具有利用价值的外部数据引入到企业的基础数据库当中。利用目前比较常见和流行的大型数据库管理系统Microsoft SQL Server，提取各系统的基础数据，并存储在数据库(Database)当中。2、数据清洗转储层(ETL)ETL：数据抽取（Extract）、转换（Transform）、清洗（Clean）、装载（Load）。从操作层的基础数据到数据仓库，必须经过ETL过程的处理，即，根据数据分析和利用工作对数据仓库的要求，首先要从基础数据源抽取出所需的数据，再经过数据转换和清洗，最后按照预先定义好的数据仓库模型，加载、转储到数据仓库中去。（1）、通过ETL过程处理数据的必要性a. 是数据集中管理的需要由于通钢集团作为钢铁联合企业工艺流程长、专业分工细致，并且操作数据层的基础数据是与各运作软件系统紧密相联的，使得操作层基础数据散落在不同的数据库当中，不利于数据集成化管理，严重影响了数据的利用效率。b. 是数据规范化的需要基础数据是在业务处理过程中产生的操作型数据，它主要是为满足具体业务管理工作的需要。系统内数据缺乏规范性，存在数据冗余；并且数据仓库要求具有支持海量数据、快速检索、利于分析和决策的特点，但基础数据标准大多不同于构建数据仓库的标准，不利于数据的分析和利用工作，因此必须通过ETL方式对基础数据进行规范。(2)、在ETL过程中，注意解决好以下两个问题。a.解决好ETL数据处理的速度和运作软件系统工作效率的关系。b. 在基础数据库与数据仓库之间建立接口标准。数据仓库层(DW)数据仓库（Data Warehouse）是指在企业管理和决策中面向主题的、集成的