数据仓库技术在数据的服务平台中的应用.docVIP

数据仓库技术在数据服务平台中的应用 摘要 本文介绍了数据仓库的定义、特征、结构及其相关技术。结合深圳银联数据服务平台，提出了系统数据仓库的解决方案及其实现过程。文章还讨论了联机分析处理在数据仓库环境下针对信息分析的应用，并进行了评价。关键词 数据仓库，数据集成，联机分析处理，数据立方体引言随着我国金融业的飞速发展，银行如何通过对客户数据的归类存储、对各种要素的自动判别分析，从业己存在的、大量的数据中挖掘出银行经营管理人员、业务分析人员所需要的信息，以支持决策分析是一个迫切需要解决的问题。由于当前绝大多数企业内数据的真正状况是分散而非集成的，数据不一致问题、外部数据和非结构化数据问题都难以解决。数据仓库正是随着关系数据库、并行处理和分布式技术的飞速发展而提出的解决使用数据的一种新技术、新概念，它是目前已知的最为广泛采用的解决方案。它不是对传统数据库的替代，而是在传统数据库的基础上对数据进行重新组织。利用数据仓库整和金融企业内部所有分散的原始的业务数据，并通过便捷有效的数据访问手段，可以支持企业内部不同部门，不同需求，不同层次的用户随时获得自己所需的信息，并能将网络中分布的商业数据集成到一起，为决策者提供各种类型的数据分析。1数据仓库的定义及特征数据仓库的概念是为企业能有效地管理和利用多年来积累下来的各种历史数据和统计信息，服务于决策支持背景下提出来的。数据仓库之父W.H.Inmon在《建立数据仓库》一书中提出：数据仓库就是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合，用以支持经营管理中的决策制定过程[1]。这个定义所陈述的是一种设计方法，它偏重于对数据本身特点和数据模型特点的描述，主要是针对解决数据“易进不易出”的问题。数据仓库将不同介质、不同组织方式的数据集成转换而成为一个一致的分析型数据环境，为不同来源的数据提供了一致的数据视图[2]。它的最大优点在于它能把企业网络中不同信息岛上的数据集中到一起，存储在一个单一的集成的数据库中，并提供各种手段对数据进行统计、分析，并且允许企业的各个部门共享数据，为企业更快、更好地做出决策提供更加准确、完整的信息。面向主题性是数据仓库中数据组织的基本原则，数据仓库中的所有数据都是围绕着某一主题组织、展开的。数据仓库中存贮的数据是从原来分散的各个子系统中提取出来的，但并不是原有数据的简单拷贝，而是经过统一、综合的。数据仓库在一定时间间隔内是稳定的，其中数据随时间变化而定期地被更新。2数据仓库的体系结构数据仓库系统主要包括数据源、数据的存储与管理、OLAP服务器、前端工具四部分组成。如图1。数据仓库系统的任务就是对进入数据仓库的原始数据进行抽取、转换、过滤、清洗等处理，最终进入数据仓库，以及对数据仓库中存储的数据进行更新、管理、使用、表现等的相关软件/工具进行集合，用以支持数据仓库应用或管理决策[3]。图1 数据仓库的体系结构数据源：为数据仓库提供原始数据。可以是外部数据、操作型数据库、管理数据库、生产系统数据库等。这些数据源可以是集中的或分布的、异构的。数据的存储与管理：是整个数据仓库系统的核心。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构，同时组织存储数据仓库元数据。OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现数据趋势。前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。3银联数据服务平台数据仓库银联数据服务平台系统又称为基于数据仓库的统计分析系统。它是在整合深圳分公司所有数据包括交易日志、商户资料、ATM终端资料、POS终端资料等的基础上，对数据资源进行充分挖掘、实现多维统计分析功能，给服务对象提供一个开放式(WEB)的资料查询、统计分析、无纸化沟通的平台，让数据真正成为分公司、专业化公司、银行、商户进行市场决策，提高跨行交易质量的重要依据。3.1系统总体设计 银联数据服务平台统计分析系统实现的是一个基于数据仓库多维数据模型J2EE架构的业务数据分析系统。它所提供的是基于海量历史数据的分析而实现的面向决策支持层、管理层和业务运行层3个层次的功能。根据银行业务功能需求，提出了银联数据服务平台是一个具有三层体系结构的解决方案，如图2。在整个系统设计过程中，有效利用客户现有的软硬件资源，以各类用户关心的统计分析主题为出发点，满足各类业务查询统计的需求，建设了可扩展的、灵活的、开放的、有效的数据仓库系统。同时，通过对业务应用的高度抽象，使得系统结构的复杂度得到很好的控制，保证系统同时具有非常良好的可扩充性和适应性。系统的后端为数据仓库服务器端，它的功能主要包括数据采集、数据抽取转换以及数