基于SpringBatch框架的数据批量处理在决策分析系统中的应用.pdfVIP

电子测量技术第39卷第4期

ELECTR0NICMEASUREMENTTECHNOLOGY2016年4月

基于SpringBatch框架的数据批量处理

在决策分析系统中的应用

徐杨周文彬

(河海大学计算机与信息学院南京210098)

摘要：通常企业决策分析系统需要对关键业务信息进行批处理操作，而这些业务的批处理操作是在没有用户进行

交互的情况下对大量复杂的信息进行自动处理。为了解决批处理数据操作效率低下的问题，本文在对SpringBatch框

架进行深入的研究和分析的基础上，选用SpringBatch框架，开源作业调度库Quartz以及关系型数据库MySQL和非

关系型数据库Cassandra，设计并实现了高效批处理的决策分析系统。同时本文还对该系统进行相关性能测试，测试

结果证明使用SpringBatch框架的决策分析系统批数据处理能力得到了极大的提升。

关键词：SpringBatch；批量处理，决策分析系统

中图分类号：TP202文献标识码：A国家标准学科分类代码：510．1050

Applicationofdatabatchprocessingindecisionanalysis

systembasedonSpringBatchframework

XuYangZhouWenbin

(DepartmentofComputerandInformation，HohaiUniversity，Naniing210098，China)

Abstract：Usuallytheenterprisedecisionanalysissystemneedstodealwiththekeybusinessinformation．These

operationsareautomaticlydealwithlotsofcomplexinformationwithoutuserinteraction．Inordertosolvetheproblem

oflowefficiencyofbatchdataoperation，inthispaper，basedonin-depthresearchandanalysisontheSpringBatch

framework，weuseSpringBatchframework，opensourcejobschedulingQuartzandrelationaldatabaseMySQLandnon

relationaldatabaseCassandratodesignandimplementthedecisionanalysissystemofefficientbatchprocessing．Atthe

sametime，thispaperalsocarryouttheperformancetestofthesystem，testresultsshowthatthedecisionanalysis

systemwhichusedtheSpringBatchframeworktoimplementismoreefficientinbatchdataprocessing．

Keywords：SpringBatch；databatchprocessingIdecisionanalysissystem

取数据，经过处理后再写入另一个或多个数据库，所以在

1引言

web系统中SpringBatch也用于对大量数据进行并行处

随着计算机技术，信息技术与分布式计算环