ETL技术在大型装备制造企业应用.doc

ETL技术在大型装备制造企业应用 　　摘 要 商业智能（BI）分析对于大型装备制造企业非常重要。BI通常要有质量较高的数据仓库为支撑，而ETL（数据抽取、转换、装载）是构建整个数据仓库的核心和灵魂。本文通过对ETL技术在大型装备制造企业的应用研究，详细阐述了ETL的应用过程，并以实例说明了其带来的应用价值 【关键词】数据仓库 ETL 应用过程 价值 1 ETL介绍 1.1 ETL相关概念 ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗和加工，最终按照预先定义好的模型，将数据加载到目的数据仓库中去，做各种商业智能分析或者用于主数据管理体系。具体来讲： 1.1.1 数据抽取 将数据从各种原始的业务系统或者非结构化文档中读取出来 1.1.2 数据转换 按照预先设计好的规则将抽取得数据进行转换、清洗、加工，统一抽取的数据格式 1.1.3 数据装载 将转换完的数据按制定的规则增量或全部导入到目的数据仓库 1.2 ETL的重要性 在互联网和大数据飞速发展的当今时代，越来越多的企业已经认识到了数据将是企业的核心资产，能够为企业创造新的价值。这些能够为企业带来价值的数据都需要经过从各种原始的数据采集而后加工分析得出，因此前提是要构建企业的数据仓库，而在构建数据仓库过程中，数据的抽取、转换、装载（ETL）是最重要也是最花费时间和人力的，往往占整个项目的60%以上的工作量，而ETL的成败将影响整个数据仓库构建的成败及数据质量，因此ETL的关键作用也决定了其在数据仓库构建过程中的核心地位 2 ETL的应用过程 ETL的应用过程按照大的步骤分为数据的抽取、转换、加载三个过程，但实际在应用过程中往往要经历数据源的识别、数据模型建立、数据清洗和加工、流程设定、运行跟踪五个过程，见图1。下面将结合Informatic 的ETL工具 PowerCenter 进行详细阐述整个应用过程 2.1 数据源识别 ETL首先要进行数据源的识别，数据的来源有多种多样，可以是数据库、文件或消息等，目前在大型装备制造企业中用得较多的是数据库。数据库的数据源中存储了所有建立数据库连接的信息，就像通过指定文件名称可以在文件系统中找到文件一样，通过提供正确的数据源名称，就可以找到相应的数据库连接，见图2 2.2 数据模型建立 定义了数据源和目标数据库后，数据模型的建立过程在PowerCenter中是映射的建立过程，描述源和目标之间数据流的映射关系。映射界面是基于组件的，需要向映射中添加转换，用以描述在载入目标之前如何提取和转换数据，见图3 2.3 数据清洗和加工 根据业务逻辑筛选出需要的源数据并对这些数据进行处理，形成符合目标数据标准的数据，PowerCenter提供了一系列的功能函数供用户构建相关的表达式及字段组合及拼凑字符串等各类数据加工手段，帮助完成数据清洗和加工工作，见图4 2.4 流程设定 从源数据转换成需要的目标数据是一个复杂的过程，往往需要经过设置多个数据清洗和加工逻辑，同时将这些不同的逻辑按照一定的顺序执行，即形成数据转换的流程，每个流程都是一个指令集，指示如何执行任务，可以在一个流程中加入多个任务，以同时或依次运行任务。PowerCenter可以利用工作流中配置的指令运行任务，见图5 2.5 运行跟踪 流程设置完毕后需要运行，需要使用 Workflow Monitor 监控流程的执行情况。Workflow Monitor 是一个监控流程和任务的工具。可以使用甘特图视图或任务视图查看流程或任务的详细信息。在 Workflow Monitor 中可以启动、停止、中止或继续流程，见图6 通过上述的5个步骤，完整的实现了从数据源的识别到最终转换成目标数据的过程 3 使用ETL带来的价值 ETL的成功应用将为企业带来巨大的价值，从作者供职的大型装备制造企业中主要体现在两个方面： 3.1 内部业务系统的数据集成 由于各种原因，企业的生产物资系统数据库采用分布式部署，每天需要将分布在全国各地20多个数据库的数据约2200多万条物资采购和使用数据集中汇总至总部进行整理分析，应用ETL技术后，数据采集和清洗的效率、准确性和系统性能大幅提高，同时简化了整个数据汇总分析的过程 3.2 大型装备工况数据的采集分析 企业生产的大型港口机械装备遍布全球码头，每台设备上都装有起重机管理系统，这些设备的故障、旁路、工作循环等各类工况数