构建智慧公积金数据基石.docVIP

构建智慧公积金数据基石 　　近年来，在大数据技术的推动下，数据仓库和数据挖掘技术得到了飞速发展和广泛应用，对住房公积金（下称公积金）行业来说，住房公积金数据仓库的建立和应用既是“智慧公积金”发展转型期的重要方向，也是顺应大数据时代发展的一次历史机遇。 　　一、数据仓库的定义及特点概述 　　随着各类信息管理系统的建立和运行，数据处理的重点已经从传统的业务处理扩展到在线分析处理，并从中得到面向各种主题的统计信息和决策支持信息。随着数据量越来越大，现有数据存储形式已经不能满足信息分析的需要，于是建立数据仓库的构想应运而生。“数据仓库”一词最早是在1990年，由美国的William H. Inmon博士提出，他将数据仓库（Data Warehouse）定义为：“数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程”。不同于数据库是事务系统的数据平台，其侧重于在线交易数据的存储，数据仓库是分析系统的数据平台，其存储的一般为历史数据，它从事务系统中获取数据，并做汇总、加工，为决策者提供决策依据。 　　二、目前住房公积金行业信息管理存在的主要问题 　　自从1991年建立住房公积金制度以来，各地的住房公积金管理中心一直都致力于信息系统的建设，目前信息系统的建设基本都是建立在数据库基础上的，经过多年的运行和数据积累，信息系统技术架构已经基本成熟，但在日常运行和管理的过程中仍面临如下问题。 　　1.数据缺乏统一管理和分析的能力 　　对于以事务处理为主要目标的住房公积金信息系统来说，在面对不同业务管理模式和规则时，通常会采用以业务类型和管理部门进行分别设计和开发的模式，数据库的设计与存储也多以业务类型分别存储，这样使得住房公积金信息系统对于数据缺乏统一规划和管理。信息不仅容易重复收集，而且容易形成众多信息孤岛，难以共享，从而造成信息难以分析和价值挖掘。举例来说，住房公积金业务系统中通常客户的公积金账户和贷款账户是独立设置和管理的，由于信息孤岛的存在，在造成查询和管理不便的同时，也容易使得骗提骗贷的风险增加。 　　2.历史数据准确性和完整性很难保证 　　住房公积金信息系统的建设目标是为了实现住房公积金业务办理和信息管理的电子化，而各地的业务规则和业务流程一直在跟随房地产市场和科技等的发展变化在不断优化和改进。住房公积金信息收集的过程中难免会带有历史背景的烙印，同时早期的信息都是靠人工录入为主，人为操作失误在所难免，这些都很难保证历史数据的准确性和完整性。例如，身份证号从15位升至18位的改变会造成系统中部分客户的信息不准确；同时系统中会存在录入错误导致的信息错乱和不一致情况。类似的情况在大多数的信息系统中几乎都会存在，数据的准确性会给数据分析的结果造成很大的影响。 　　3.数据分析需求增加和系统性能不足的矛盾日益明显 　　面对当前瞬息万变的房地产市场，住房公积金的使用频次和利用效率越来越受到住房公积金管理人员的关注。随着住房公积金信息系统的建立与运行，大量的基础性数据和业务处理信息形成并长期积累，住房公积金信息系统的发展方向已从业务信息的收集开始转向数据信息的在线实时分析处理，住房公积金管理人员希望能够从业务系统中获取有效的、一致的决策支持信息，以便及时准确地应对市场和外部变化带来的影响。然而，由于数据量越来越大，利用已有的数据库系统做分析查询应用将影响数据库事务处理性能，不能满足数据分析的基本需求。此外，随着住房公积金业务系统的全流程电子化推进，其业务系统的各类系统风险和操作风险增加，针对各类业务操作的风险分析需求越来越受到重视，但基于已有的数据库进行风险分析存在情况多、数据量大、变化快、效率低的难题，这给基于系统的风险分析带来了工作难度的加大和工作量的增加。综上所述，现有的数据库技术已无法满足决策分析和风险分析等各类分析需求。 　　4.异构数据库系统融合困难 　　众所周知，住房公积金信息系统都是逐步建立起来的，基于不同时期的计算机技术而建立起来的信息系统有可能会采用不同的数据库系统。这些独立且自成一体的数据库系统以不同的数据模式描述数据，使用不同的语言描述数据存储和操纵事务，它们无法通过计算机网络实现系统间的信息交换和结合，从而在信息系统中容易形成多个异构的、分散的数据库系统，出现大量的信息孤岛。 　　5.大数据挖掘需求无法满足和适应 　　近年来，随着住房公积金事业的发展和“互联网+政务服务”的深入，大数据平台已经成为发展的必然趋势。目前，南京、?B门等多地的住房公积金管理中心已经逐步同银行、房产、民政、人社、公安等多部门实现了信息共享，信息共享使得住房公积金的数据更加多样和丰富。随着共享数据库中的数据不断积累，对这些数据进行再利用和深加工不仅有利于各项便捷服务的开展，而且对住房公积金的