基于并行数据库海量商务数据管理系统研究.docVIP

基于并行数据库海量商务数据管理系统研究 　　（华南理工大学 计算机软件学院, 广州 510640） 　　?? 　　摘 要： 　　为了使海量商务数据得到高效、稳定、安全的处理，提出了一种针对基于并行数据流技术的海量数据管理系统，详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。 　　?す丶?词：海量商务数据； 数据管理系统； 并行数据流技术； 并行数据查询； 并行数据加载 　　?ぶ型挤掷嗪牛?TP393 文献标志码：A 　　 文章编号：1001-?B3695(2009)02-?B0614-?B03 　　?? 　　Research of parallel technology in massive commerce ??data management system 　　?? 　　PENG Hong， DU Nan 　　?ぃ?School of Computer Software Engineering, South China University of Technology, Guangzhou 510640， China） 　　?? 　　Abstract:In order to perform the massive commerce data in an effective and stable way, this paper designed a type of massive data management system which was based on the parallel technology data flow technology. And detailed the main technology and the architecture in the parallel data loading module and the parallel data query module in this system, and suggested ways to improve them. 　　??Key words：massive commerce data； data management system； parallel technology data flow technology； paralled data query； paralled data loding 　　?オ? 　　0 引言?? 　　随着经济全球化的不断发展,国际性的大型企业不断涌现,数以亿万计来自全球各地的用户通过互联网进行商务活动,以致其业务数据量空前庞大，产生了TB甚至PB级的海量数据。例如，全球著名的拍卖/购物网站eBay拥有2亿4百万注册用户，每一刻钟有6亿份清单生成，每天有超过10亿次的页面浏览，每天有260亿次的SQL查询，而其以每周增加10TB的速度增加其内存。如何对海量商务数据进行有效的存储、及时加载和高效查询成为亟待解决的问题。?? 　　海量商务信息数据具有的高速性、连续性、即时性等特性，给海量数据的管理带来了前所未有的巨大挑战，并行数据库技术是目前存储和管理海量信息比较有效的技术手段。?? 　　本文基于并行数据库技术,提出了海量商务数据管理系统。该系统是一种用于解决海量数据加载和查询的并行任务调度的系统[1]。?? 　　1 商务海量数据管理系统的体系结构?? 　　图1描述了商务海量数据管理系统的系统结构。?? 　　商务海量数据管理系统采用客户机/服务器(C/S)的结构模式。在这种模式中，所有客户端与应用服务器连接，再由应用服务器与数据库服务器相连接。所有对数据库的访问均由应用服务器统一管理。客户端负责与用户地交互，收集用户信息，向应用服务器提交各种请求。?? 　　本文主要研究商务海量数据管理系统中的并行处理技术，包括并行加载技术及并行查询技术[2，3]。?? 　　2 并行数据加载服务?? 　　为了保证系统的加载速度,本系统采用了并行加载功能,对需要加载的记录先进行缓冲。当缓冲区满时,将数据分布到多个加载对象上,这些加载对象可同时对不同的数据库加载。?? 　　数据加载的加载服务流程如图2所示。?? 　　2. 1 数据的并行加载?? 　　当系统开始运行后,所有服务对象向容错及负载平衡模块提出注册。用户的初次加载请求注册后,通过容错及负载平衡模块发送到数据划分模块；之后该模块根据数据分布策略以及业务特点(是否是分布式事务)，返回至对象容错及负载平衡模块，在那里选择与数据库节点对应的若干个对象分配模块；然后分配对象模块再选择一个加载模块，通过数据连接池执行加载至数据库，至此加载线路建立完毕。该数据划