数据仓库技术在数据服务平台中的应用.docVIP

　　数据仓库技术在数据服务平台中的应用 摘要 本文介绍了数据仓库的定义、特征、结构及其相关技术。结合深圳银联数据服务平台，提出了系统数据仓库的解决方案及其实现过程。文章还讨论了联机 分析 处理在数据仓库环境下针对信息分析的 应用 ，并进行了评价。关键词 数据仓库，数据集成，联机分析处理，数据立方体引言随着我国 金融 业的飞速 发展 ，银行如何通过对客户数据的归类存储、对各种要素的自动判别分析，从业己存在的、大量的数据中挖掘出银行经营管理人员、业务分析人员所需要的信息，以支持决策分析是一个迫切需要解决的 问题 。由于当前绝大多数 企业 内数据的真正状况是分散而非集成的，数据不一致问题、外部数据和非结构化数据问题都难以解决。数据仓库正是随着关系数据库、并行处理和分布式技术的飞速发展而提出的解决使用数据的一种新技术、新概念，它是 目前 已知的最为广泛采用的解决方案。它不是对传统数据库的替代，而是在传统数据库的基础上对数据进行重新组织。利用数据仓库整和金融企业内部所有分散的原始的业务数据，并通过便捷有效的数据访问手段，可以支持企业内部不同部门，不同需求，不同层次的用户随时获得自己所需的信息，并能将 网络 中分布的商业数据集成到一起，为决策者提供各种类型的数据分析。1数据仓库的定义及特征数据仓库的概念是为企业能有效地管理和利用多年来积累下来的各种 历史 数据和统计信息，服务于决策支持背景下提出来的。数据仓库之父终端资料、POS终端资料等的基础上，对数据资源进行充分挖掘、实现多维统计分析功能，给服务对象提供一个开放式(WEB)的资料查询、统计分析、无纸化沟通的平台，让数据真正成为分公司、专业化公司、银行、商户进行市场决策，提高跨行交易质量的重要依据。3.1系统总体设计 银联数据服务平台统计分析系统实现的是一个基于数据仓库多维数据模型J2EE架构的业务数据分析系统。它所提供的是基于海量历史数据的分析而实现的面向决策支持层、管理层和业务运行层3个层次的功能。根据银行业务功能需求，提出了银联数据服务平台是一个具有三层体系结构的解决方案，如 图2。在整个系统设计过程中，有效利用客户现有的软硬件资源，以各类用户关心的统计 分析 主题为出发点，满足各类业务查询统计的需求，建设了可扩展的、灵活的、开放的、有效的数据仓库系统。同时，通过对业务 应用 的高度抽象，使得系统结构的复杂度得到很好的控制，保证系统同时具有非常良好的可扩充性和适应性。系统的后端为数据仓库服务器端，它的功能主要包括数据采集、数据抽取转换以及数据的存储功能。中间层是应用服务器(决策支持分析引擎)，实现应用程序与客户交互并实现业务逻辑。前端是集成化的数据分析展现工具，它面向用户实现具体决策分析。本文主要讨论系统的后端的设计。 图2 系统总体设计结构图 3.2数据仓库模型建立与数据组织 数据仓库的建模主要包括建立数据仓库的概念模型，逻辑模型和物理模型。首先，根据业务需求确定系统边界，分析主题域，确定当前需要装载的主题。主题是一个逻辑概念，它应该能够完整、统一地刻画出分析对象所涉及的各项数据以及相互联系，它的确定限定了数据仓库的规模和应用范围。第二，细化主题分析 内容 并进行数据组织，确定粒度划分和层次划分以及分割策略。这些操作决定着系统的信息量和查询效率，对系统有重要 影响 。最后，生成数据仓库，设计接口，装入数据。在后台数据库的设计中，采用星型模型多维数据分析模型。利用这种模型可以很好地完成以主题分析为主的数据库设计，从而理清 金融 行业数据库中纷繁杂乱的海量数据。为客户从各个维度观察数据打下坚实的后台数据基础。按照银联业务需求，数据服务平台主题举例如下：ATM交易分析分析ATM交易数据，包括：交易总笔数、系统成功数、收单成功数、交易成功笔数、成功交易金额、取款金额、取款笔数、转帐笔数、转帐金额、调帐笔数、调帐金额、交易成功率、收单成功率和调帐率。用户可根据需要选择按如下维度：发卡行、代理行、转入行、ATM终端、交易日期、清算日期、卡种、交易代码、交易时间。POS清算分析分析POS清算数据，包括：清算笔数、清算金额、商户回佣、发卡方收入、深圳银联收入、发卡方固定回佣、银联固定回佣，收单方回佣、调帐笔数、调帐金额、调帐回佣、调帐银行回佣、实际清算金额、实际清算回佣。用户可根据需要选择按如下维度：发卡行、代理行、POS终端、清算日期、卡种、商户类型和商户、回佣收取方式、区域代码、交易代码。系统中数据粒度采用以天为单位。在数据仓库的基础上，建立了基于SQL Server 2000 OLAP Services的立方体，以供OLAP Services使用。OLAP提供了ROLAP，MOLAP，HOLAP三种存储方案来保存这些立方体[4]。我们选择了使用M0LAP存储方案，它可以支持两种存储方式：