银行业数据仓库技术的应用.docxVIP

数据仓库技术及其在银行业的应用

????■NCRTeradata数据仓库事业部王闯船

????利用先进的数据仓库技术建立集中的、包含具体交易数据的商业智能解决方案，差不多成为各大银行对内加强经营治理和决策支持，对外更好地了解客户需求，开发新产品或效劳，利用现有渠道对客户进行交叉销售，增加赢利能力，并在特定的业务领域提供差异化效劳的重要手段。

????与前几年不同的是，大伙儿目前都在谈论企业级数据仓库(EDW，EnterpriseDataWarehouse)，关于数据集市的定位也全然形成共识，那确实是根基数据集市应该附属于企业级数据仓库。所谓EDW，全然的要求是整个企业能够共享统一的数据存储模型，为各级业务人员提供一致的信息视图。实施时能够先按照需求的轻重缓急选择局部业务主题，然后逐步扩展到涵盖全部业务。

????两种数据仓库体系架构

????集线器结构

????之因此把这种结构称为“HubandSpoke〞，是因为中心数据库聚拢了来自各业务处理系统的数据，同时也负责向各附属数据集市提供信息，瞧上往象一个Hub〔集线器〕一样。而业务人员在进行数据分析与信息访咨询时将依据需要连接到不同的数据集市，这种交叉复杂的连接瞧上往就象Spoke(车轮辐条)一样。由于如此的关系，著名评估机构GartnerGroup把这种结构的数据仓库形象地称为“HubandSpokeDataWarehouse〞。

集线器结构的企业级数据仓库

????“HubandSpoke〞结构解决了企业内统一数据存储模型的咨询题，但从实际使用的角度来瞧仍有对比严重的缺陷。要紧表达在两方面：一是业务人员对信息的访咨询特不不方便，特别难进行跨数据集市或跨部门的信息分析。数据集市的存储模型需要依据预先定义的分析需求进行和设计，业务人员依据分工到指定的数据集市上往访咨询相关信息。要是需求发生变化，就需要对数据集市重新。这显然不能满足日益变化的市场需求。中心数据库只是起统一数据存储和刷新数据集市的作用，一般不提供信息访咨询。另一个咨询题是每个数据集市都需要相应的软硬件投进，当数据集市增加时，系统整体投资迅速增加，同时治理的复杂性也随之增加。这些都意味着巨大的整体拥有本钞票。

什么缘故不直截了当访咨询中心数据仓库而非要设计一个数据集市层呢？要紧缘故在于当中心数据库保持越来越多的数据、并发用户越来越多时，一般的数据库引擎无法担负如此的负载，只好把它们分解到不同的数据集市。

????集中式结构

????与前面讨论的“HubandSpoke〞结构相比，集中式结构与之要紧的差异在于：数据集市分成物理与逻辑两种，物理数据集市设立在中心数据仓库之外，具有专门的软硬件设备。一般都使用OLAP效劳器，按照特定需求组建多维立方体来提供多维信息分析。逻辑数据集市设立在中心数据仓库之内，由在根底数据之上形成的小结表或者逻辑视图组成。业务人员既能够访咨询多维立方体，也能够访咨询中心数据仓库内的小结表或者逻辑视图。这些分析要紧针对预先定义的业务需求，同时粒度对比粗。基于OLAP效劳器的数据集市比基于RDBMS的数据集市要轻易维护得多，因此规模也相对较小。

集中式结构的企业级数据仓库

中心数据库采纳符合数据库范式理论(一般为第三范式)的存储模型来保持根底数据，从而为整个企业提供一致的信息视图。上面讲明的数据集市要紧针对粒度较粗、预先定义的分析需求，关于动态的业务查询、粒度较细的或者针对根底数据的分析需求那么由中心数据库提供。因此业务人员能够直截了当访咨询到最根底的具体数据，特别是高级业务分析师，将更频繁地基于具体数据进行分析，以便挖掘出内在的、隐含的业务规那么，关怀企业主管更好地进行业务决策。

????在中心数据库中还设立了一个数据转换与缓冲区(DataStagingArea)，作为ETL〔抽取转换装载机制〕处理的一局部。由于在许多数据仓库的ETL处理流程中，需要对源数据作一些对比复杂的转换与清洗工作，要是仅借助于ETL工具实现这种转换与清洗，由于没有数据库的支撑(ETL工具均在数据库之外运行)，经常会产生对比严重的性能咨询题。因此在一些系统中增加一个ODS(OperationalDataStore)层来进行数据的整理，但这就像设立基于RDBMS的数据集市一样，将大大增加整体投资和治理复杂性。理想的方法是，在中心数据库中设置一局部存储空间来作为数据转换与缓冲区，借助数据仓库引擎强大的复杂查询处理能力，通过SQL实现数据的转换与清洗。这种实现方法简单、快速、同时不轻易出错，因此对中心数据仓库引擎的处理能力就提出了更高的要求。

????选择这种数据仓库根底平台的全然要求第一是线性扩展能力。原始数据对任何一个数据仓库来讲，根基上最要紧的负载之一。随着数据量的增长，系统性能会逐渐下落。为了维持合理的业务查询响