SOA实时数据仓库的分析.docxVIP

PAGE 1 PAGE 1 SOA实时数据仓库的分析  本文主要研究了基于SOA实时数据仓库的体系架构和设计方法。SOA是基于标准的、松散耦合的软件体系结构，采用WebServices技术使得跨平台的、无缝共享的、实时的数据交换更简单实现，正是SOA的这些特点，解决了传统EAI存在的体系结构紧密耦舍、缺乏工业标准等问题。  0引言  传统的数据仓库架构一般包括ETL、ODS、数据仓库、数据集市和BI工具。业务数据一般在每天深夜的批处理作业中从OLTP系统中抽取出来，存储到ODS中。数据在ODS中加工后，也是在夜间启用批处理将数据集中、分段传送给数据仓库，数据仓库把历史数据存储到数据集市的接口中，供相应的业务部门分析和处理。BI工具位于数据仓库或数据集市的顶端供应OLAP分析。  实时数据仓库提倡，当数据在OLTP系统内产生后直接进入数据仓库系统，而不必经过夜间的批处理过程，这使得数据仓库内的数据成为即时更新的数据。实时数据仓库包含两方面的含义：（1）实时的动作；（2）数据仓库。实时的动作是指当前正在进行的活动。这种活动可以是任何事情，例如某件商品的销售。一旦这种活动结束，数据仓库中就应当存在相关的数据。  目前国内外对数据仓库的研究和应用主要分为两大类。一类是基于ETL实时数据仓库，原则在于采用各种方法缩短ETL周期。这种方案并不能很好的解决实时数据仓库应当具备的无缝共享和交换数据的需要，只是准实时数据仓库实现的方法。另一类是采用EAI实现数据仓库的实时性。利用建立在面向服务架构体系上的企业应用集成将实时数据从数据源系统中抽取出来，拖曳到数据仓库中。  本文主要研究了基于（面向服务体系结构）SOA实时数据仓库体系架构、设计和实现方法，采用WebServices技术使得跨平台的、无缝共享的、实时的数据交换更简单实现。  1基于SOA实时数据仓库的设计原则与系统架构  1.1基于SOA实时数据仓库设计原则  以下是基于SOA实时数据仓库的一些核心设计原则。  1）系统建设可分阶段实施、可持续发展  数据仓库的建设是一个系统工程，其中涉及的数据源也可能分散在各个部门，在系统实施过程中会遇到各种包括非技术因素在内的问题。因此，数据仓库的设计必需“大处着眼、小处着手”，数据仓库的建模必需供应系统可以分阶段实施，并在应用层面保持系统可持续发展。为了获得经验和尽快成功，开始的时候只是把现有接口与SOAP及WSDL“捆”在一起，实现单向的点对点集成就行了，这些先期的Web服务应当模仿目前以数据为中心的API。在遗留系统上稳定运行的核心应用程序或定义清楚的已有贸易伙伴的应用程序是合适的集成对象。  2）以业务流程为牵引  在建立完备的SOA的每个阶段，都要采取“为业务服务”的观点。在确定数据类型或API之前，每个Web服务都要设计成与业务流程的输人和输出粗略对应的任务。SOAP接口及其WSDL描述符同样应当反映这种以流程为中心的方法，而不是许多编程工具自动生成的那些细节。同时数据仓库的建模应当依据业务的流程和数据源来打算。  3）以维护成本较高的应用为对象  在很多分散的功能中找出手工流程，如现场销售或客户支持。就面向服务设计方案中的战略投资而言，具有较高的集成和管理成本的应用程序是这一阶段合适的候选目标。应当以那些需要特地技能来管理和开发的、需要专用硬件或那些为了实现互操作性需要特地申请许可的附件和适配器的系统为目标。  4）确定核心服务平台  大多数公司都会从其已经在J2EE或Windows服务器上所做的工作开始。少数公司也可能选择不同的核心平台，例如，SAP正在缓慢地把Web服务标准集成到其业务API（BAPI）中去；一些严重依靠SAP软件的公司可能情愿把BAPI应用放入SOAP和WSDL中，并遵循SAP有关通用业务文档的定义。但无论选择什么作为其核心平台，都要确保厂商拥护独立标准并证明它能供应牢靠的互操作性。  5）建立共享基础设施服务  由异构系统组成的SOA必需利用它自己的一组特别服务来确保每件事都是牢靠的、可管理的和安全的。Web服务管理产品通过供应版本掌握、QoS等功能来满意这些需求，但是诸如认证等其它核心需求有可能需要与现有的身份管理系统等基础设施结合在一起来满意。  6）注意数据的完整性  对每一个数据仓库关心的数据源，数据仓库设计时都将从最明细的数据层次进行收集，即使将来的分析大部分都是基于汇总的数据，但数据仓库中最底层的数据模型将对应业务系统中最明细的部分。这样的设计，数据仓库的建模和数据采集对于业务系统来说是一步到位的，而这样设计出的分析模