商业银行数据集市概述.pdfVIP

商业银行基于数据仓库的数据集市的解决方案 翟建国，李文生 北京邮电大学计算机科学与技术学院，北京（100876） E-mail:zhaijg2008@ 摘 要：在数据仓库建设的后期，由于企业的多个部门都开始使用数据仓库所提供的服务。 而这些部门之间往往又对数据仓库有不同的要求，很多人就提出了在数据仓库基础上构建数 据集市的概念。虽然在业务系统中拥有足够的信息来进行数据分析，但是很难从这些系统中 提取有意义的信息而且速度也较慢。而且虽然这些系统可支持预定义报表，但却无法支持一 个部门对数据进行历史的、集成的、智能的和易于访问的分析。因为业务数据分布在许多跨 系统和平台的表中，而且通常是“脏的” ，包含了不一致和无效的值，使得分析难于进行。数 据集市可以合并不同系统的数据源来满足业务信息需求。本文针对某商业银行数据仓库建设 本身的特点，提出了一整套切实可行的针对这家银行的数据集市建设的解决方案，并成功应 用于实际项目中，希望对其他银行或者企业在建设自己的数据集市时具有参考意义。 关键字：数据仓库，ODS ，ETL ，数据集市。 0. 引言 某商业银行数据仓库的建设目前已经初具规模，随着相关数据逐步积累，数据仓库的资 源已经完全可以满足各类分析系统的数据需求，按照这家银行的技术架构，数据集市的建设 已经迫在眉睫。 数据集市的建立可以解决各系统数据获取得问题，并在集市范围内得到最大的共享，数 据集市可以根据各系统的数据需求，建设成一个高度整合的业务系统数据平台，经过整合后 的数据便于应用的掘取、操作，发挥最大的效能。 数据集市的建立可以有效缓解数据仓库时间窗口的争用问题，加快各系统数据获取的速 度。同时整合的数据集市不仅可以解决信息不对称等方面的问题，且整合后方便统一管理， 降低费用，提升效能、增进安全，使得整体架构更加合理化、科学化。 1. 数据仓库技术 1.1 数据仓库介绍 数据仓库技术是数据库与人工智能两项计算机技术相结合的产物，是当今信息管理技术 的主流，它利用人工智能中的机器学习、知识处理和神经网络等方法，从数据库中挖掘有用 信息、发现知识、搞清数据库中大量数据之间的相互关联及众多数据之间存在的规律，可供 使用者有效分析和利用数据库中的已存储的各种有用信息，以帮助决策者迅速做出决策，从 而使企业产生巨大的经济效益。 数据仓库是“面向主题的、集成的、稳定的和随时间变化的数据集合，主要用于决策制 定” （Bill Inmon ，Building the Data Warehouse ）。数据仓库的这些特点决定了它与传统的面向 事物处理的数据库有着本质的不同。作为一个新兴的研究领域，数据仓库发展得很快，许多 大学和公司都在这个领域进行着广泛深入的研究，其中尤以斯坦福大学、IBM Almaden 研究 中心、威斯康辛大学、微软和ATT 的研究最具代表性。[1] 1.2 基于数据仓库建立数据集市 随着反洗钱系统、运行内控系统、审计系统等项目的启动，各个系统的技术架构必然都 - 1 - 统一规划为从数据仓库获取数据。 数据仓库的建设是以数据的整合、历史存储为主，数据本身无法直接满足各类应用的需 求，且过多的应用直接访问数据仓库并发等需求对数据仓库造成的负荷将越来越重，按照总 体架构科学化、合理化以及本着行内应用架构统一规划的大原则，因此必须要建设统一的数 据集市，包括统一的ETL 过程、统一的ODS 和统一的数据集市模型，以满足外围系统数据 需求，规范应用的系统框架。 按照这家银行技术架构，数据仓库的建设采用“ 自顶向下”的建设思路，即首先建设全行 统一的数据仓库，在数据层面对全行数据进行整合，做到各类数据的完整、统一、准确、规 范；再从业务层面，基于数据仓库建设各类应用的数据集市，满足应用的需求。 图1 数据采集图 数据仓库的数据来源于各类业务系统及外部数据；数据集市的数据来源于数据仓库；各 类应用的数据源来自数据集市。从数据的采集