大数据资源转化中数据ETL过程研究.docVIP

大数据资源转化中数据ETL过程研究 　　摘 要：大数据无疑将催生创新、改进生产力、提高服务满意度及扩大业务范围，为各行各业提供新的发展机遇、实现价值，给人们日常生活带来方方面面的改变。然而，若不能有效地滤除大数据噪声，企业的业务拓宽、服务改进将成为纸上谈兵。本文研究了大数据背景下企业的数据资源化现状，分析了数据集成对提高企业大数据资源转化的价值，最后讨论了数据集成中起决定性的ETL过程的影响及ETL工具的选取原则。 　　关键词：大数据；资源转化；ETL 　　中图分类号：TP391.3 　　大数据的5V（Volume、Velocity、Variety、Veracity、Value）特性所带来的复杂性使企业面临全面挑战。面对大数据的复杂性，传统的解决方案在本地IT资源配套方面采取了高昂但低效的变通方案：比如手工编码、升级数据库来勉强应对。最好的例子就是为了联接异构数据源而设置数据准备区（Data staging area）。这一项变化不仅大大增加了数据集成环境的复杂性，而且带来了至少每年几百万的数据库运转费用[1]。 　　不难发现，在制定成功的数据策略时，两个关键因素必须得到反映，即易扩展性和高成本收益，这使得经常被忽视而实际起决定作用的数据集成过程应重新被纳入重点考虑。 　　1 企业大数据资源转化现状 　　随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作[2]。但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业应用集成（EAI，Enterprise Application Integration）应运而生。EAI通过建立底层数据交换平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝地共享和交换数据的需要。数据集成是企业应用集成的重要环节，企业实现数据集成，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用。 　　企业日常运作的信息系统一般是由多个传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合，各个部分之间不能彼此交流。从这个层面看：目前运行的应用系统是用户花费了很大精力和财力构建的、不可替代的系统，特别是系统的数据。而建立数据仓库的目的就是要把这些不同来源的数据整合组织起来统一管理，从而做到数据的一致性与集成化，提供一个全面的，单一入口的解决方案。但是，在实施数据集成的过程中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据结构和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享。因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。 　　2 ETL流程介绍及其作用 　　数据仓库是一个面向主题性、集成性、时变性、非易失性的数据集合。主要用于支持企业战略决策处理。它是商业智能中数据集成的中心点和数据集市的数据源，可以提供企业数据中的通用结构[3]。对数据仓库的研究主要集中在设计及对于决策支持方面。ETL是数据仓库中的主要技术，它原本是作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。现在也越来越多地将ETL应用于一般信息系统中数据的迁移、交换和同步。 　　ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。 　　（1）数据抽取：从源数据源系统抽取目的数据源系统需要的数据；（2）数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；（3）数据加载：将转换后的数据装载到目的数据源。在ETL处理过程中，数据先从OLTP（联机事务处理）数据库中抽取出来，然后转换成符合数据仓库表的格式，最后装载进数据仓库数据库中。许多数据仓库还吸收非联机事务处理系统中的数据，如TXT文件、传统系统（RDBMS，HTTP，FTP，Flat File等）以及电子表格。ETL通常是一系列过程的复杂结合。它在数据仓库发展中消耗最多努力也对商业分析、数据库设计和应用技巧性要求很高的技术手段ETL过程不是一次性的。当数据源发生变化时，数据仓库会定期需要更新。同时，当业务发生变化时，数据仓库系统同样需要改变以保持其对决策制定产生价值。因此，ETL会经历改变和发展。ETL过程的设计必须支持易改进。一个可靠的、精心设计且备有文件说明的ETL系统对于数据仓库项目的成败是至关重要