ETL技术在企业中应用.docVIP

ETL技术在企业中应用 　　摘要：本文研究ETL技术，并将ETL技术运用在企业信息集成过程中。阐述了ETL用于数据集成的方法、过程和集成架构。运用ETL技术能够简化企业信息集成开发，具有低耦合性、易于扩展的特点。 　　关键词：ETL 数据集成 　　信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和办公自动化系统，用来记录事务处理的各种相关数据。据统计，数据量每2～3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占在总数据量的2%～4%左右。因此，企业仍然没有最大化地利用已存在的数据资源，以致于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。于是，企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。 　　ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。 　　ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 　　1、企业中现有数据集成方法的优缺点分析 　　在当代企业信息化过程中，企业往往存在了多个面向不同应用领域的信息系统，例如CRM，CAD、PDM、ERP等，由于各系统之间有不同的数据访问方式、数据模型和访问控制方法，各系统之间不能高效交换和共享数据，数据的流动遇到很大困难，很多数据分析问题由此产生。多年以来，许多研究人员致力于解决上??问题。方法一是建立全局数据模型，应用程序搭建统一的系统框架，通过查询全局数据模型访问共享的数据。该方法的应用实例有基于STEP中性数据模型数据集成、基于数据仓库的集成技术等。该方法的优点是；从全局观点考虑数据集成问题。通过建立中性数据模型消除了多个信息系统数据结构。该方法的缺点是：（1）针对全局数据模型程序的开发工作量大；（2）难以跨应用平台使用；（3）相应的标准缺乏广泛的支持。另外一种方法是通过调用应用程序接口的方式交换数据。应用系统通过打包的中间数据交换信息。该方法的优点是灵活、灵活。缺点是：（1）运用该方法的前提是必须提供应用程序接口，（2）开发工作量大；（3）重用性差。 　　2、ETL技术集成企业信息系统的优势 　　企业的内部的信息系统在业务流程和数据方面是集成的，具有以下特点：（1）局部差异性。两个系统之间交换的数据仅是企业全部业务数据中的一部分，参与数据交换的业务流程也只是整个业务流程中的某个节点；（2）领域差异性。企业的应用系统面向特定对象，业务目标不相同。（3）数据结构类似性。以BOM数据为例，尽管在PDM和ERP系统各自定义的数据模型不尽相同，但BOM本质上是有向图结构。ERP和PDM系统中的BOM只是产品结构数据的不同的表现方式而已。 　　企业内部业务的复杂性使得搭建一个统一的、全局的企业模型面临困难。因此更有效的应用系统间集成的方式是点对点集成。ETL技术在开发数据仓库数据库数据仓库数据挖掘过程中，起到了在多个异构数据源和数据仓储之间数据转换纽带的作用。当ETL技术应用于企业内部操作型系统（如ERP、 PDM）之间的集成时，集成目标对象转变为操作型数据存储。 　　ETL工具代替了通常采用的API接口，带来的好处是；（1）降低了应用程序间的耦合性；（2）不必为旧的应用系统编写API接口，简化了开发工作。（3）集成效率高。ETL技术可以快速导人或维护批量数据。ETL工具的任务调度功能可以根据用户设定定期执行ETL过程。 　　3、ETL技术与企业核心竞争力的培养 　　就ETL技术本身而言，无法保证为企业创造任何价值。任何模型都仅仅是一种程序式化的东西，要想从ETL技术中获益，需要在进行ETL之前，对所要解决的问题作深入的理解和补充必要的数据，还必须在企业经营决策的大循环中将其考虑进去，才能将通过ETL技术所发现的有用信息转变为企业的竞争力。 　　（1）获得新客户，客户细分。不断扩大市场是企业提高竞争力的动力源泉和终极目标。无论希望得到哪一类客户，