基于SAP的商务智能系统中ETL增量更新的实现.docVIP

基于SAP的商务智能系统中ETL增量更新的实现 　　摘要:分析了ETL(Extraction-Transformation-Loading)及其增量更新对于商业智能系统的重要性,介绍了一种基于SAP的商业智能系统中ETL增量更新实现方法,实现快速抽取源系统中变化的数据,减少源系统和目标系统间的数据传输量,提高数据的抽取速度。 　　关键词:SAP;商务智能;ETL;增量更新 　　中图分类号:TP311文献标识码:A 文章编号:1009-3044(2010)19-5312-02 　　随着经济全球化时代的到来,企业所处的环境越来越动态复杂,市场竞争日趋激烈。企业如果想在竞争中占据优势并获得利润就需要转变决策方式,由原始的经验直觉决策的方式转变为根据客户需求的理性决策的方式。BI (business intelligence,商业智能)以复杂的基础数据为基础,通过严格的推理和精确的计算,为管理者提供强大的辅助决策功能。 　　1 商务职能与ETL 　　商务智能最早于1996年由加特纳集团提出,商业智能描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。目前,学术界对商业智能的定义并不统一。商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。 　　由于不同用户提供的数据可能来自不同途径,其数据内容、数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门和各应用系统中的流动与共享。因此,商业智能的关键是把不同来源、格式和特点的数据在逻辑上或者物理上有机的集中,从而提供全面的数据共享。 　　ETL(Extraction-Transformation-Loading,数据抽取、转换和加载)是企业数据集成的主要解决方案。ETL包含三部分内容:1)数据抽取:从源数据源系统抽取目的数据源系统需要的数据;2)数据转换:将从源数据源获取的数据按照业务的需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;3)数据加载:将转换后的数据装载到目的数据源。 　　商业智能就是在ETL的基础上利用合适的查询分析工具、数据挖掘工具、OLAP工具等对其进行分析处理,最后将知识呈现给管理者,为管理者决策过程提供支持。ETL在整个BI过程中起到承上启下的作用,ETL的成败将直接影响整个BI项目的成功与否。 　　2 ETL工具的增量更新 　　在商业智能中,将提供数据给BI的系统称为源系统,而相应的将BI系统称为目标系统。ETL工具用于将源系统的数据抽取到目标系统。ETL抽取过程可以分为两类,全量更新和增量更新,全量更新将原系统全部数据抽取到目标系统,而增量更新只抽取原系统中变化的数据到目标系统。变化的数据包括新增、更改和删除的数据。 　　目标系统需要定期从源系统抽取数据用于分析。随着源系统数据量的不断增长,如果每次将源系统的所有数据都抽取到目标系统那将是难以想象的。ETL的增量更新功能就是为了解决这个问题。 　　增量更新是指仅将源系统中自上次数据抽取以来变化的数据抽取到目标系统,避免重复抽取未发生变化的数据。增量更新之前一般都需要做全量更新,将源系统历史数据抽取到目标系统,之后源系统变化的数据则通过增量更新抽取到目标系统。增量更新可以快速抽取源系统中变化的数据、减少源系统和目标系统间的数据传输量。 　　3 基于SAP的BI系统中ETL增量更新的实现 　　传统的ETL工具一般是将数据库系统作为源系统,通常是根据记录的最后修改时间戳、修改日志、触发器等方式实现增量更新,而这些方式也取决于上层系统的设计。数据库源系统依赖于特定的数据库系统,对于多数据库支持、数据库移植带来极大的挑战。在上层系统不能修改的情况下,通常考虑将数据库作为源系统。 　　另外一种思路是将上层系统作为源系统。这取决于上层系统设计的好坏,系统中数据的修改人、修改时间、哪些数据发生了变化,变化前后的数据都必须有着详细的记录。 　　3.1 基于SAP的BI系统 　　SAP公司是国际著名的ERP软件产品提供商,据统计在世界500强企业中80%的公司正在使用SAP公司的SAP R/3系统软件。SAP系统软件包括R/3、CRM、SEM、APO、SAPBI等,这些系统都可以作为SAPBI的源系统,将这些系统称为SAP系列源系统,而将非SAP产品称为非SAP系列源系统,比如文本文件、数据库、HR系统等等。基于SAP的BI系统最大的优势在于与SAP产品的集成,SAP系列源系统几乎不用作任何开发就可以将数据抽取到