一种通用混合计算中间件的设计与实现.docxVIP

一种通用混合计算中间件的设计与实现 　　摘要：随着接入设备的激增，网络应用及协议的不断涌现和互联网流量的爆发式增长，给数据分析与处理带来了极大的挑战。大数据环境中数据处理应用所呈现出的趋势是实时在线计算、离线批式计算以及动态响应式计算相互结合、相互影响，这就要求底层计算资源具备同时提供实时计算、批式计算及响应式计算的能力，然而传统的系统架构和编程模型已经无法满足这种混合计算需求。文中设计并实现一种构建在流式数据处理过程istream之上的混合计算中间件（general?purposehybridcomputingmiddleware，ghcm），它以统一、灵活的高层抽象将相互依赖的高并发实时处理业务逻辑、批处理业务逻辑和跨层次动态调用无缝融合起来。实验数据表明，ghcm在解决混合计算问题上具有良好的性能，在大幅缩短开发时间的同时为用户提供了可重用和易扩展等支持。 　　关键词：混合计算中间件;istream模型设计;数据处理;程序无缝融合;系统实现;性能分析 　　中图分类号：tn911.2?34;tp302文献标识码：a文章编号：1004?373x（2020）12?0055?06 　　abstract：thesharpincreaseofaccessdevices，thecontinuousemergenceofnetworkapplicationsandprotocols，andtheexplosivegrowthofinternettrafficbringagreatchallengetodataanalysisandprocessing.thetrendpresentedbythedataprocessingapplicationsinthebigdataenvironmentisthemutualintegrationandmutualinteractionofreal?timeonlinecomputing，offlinebatchcomputinganddynamicresponsivecomputing，whichrequiresthattheunderlyingcomputingresourceshavetheabilitytosimultaneouslyprovidereal?timecomputing，batchcomputingandresponsivecomputing，butthetraditionalsystemarchitectureandprogrammingmodelisunabletomeettheneedsofthiskindofhybridcomputing.ageneral?purposehybridcomputingmiddleware（ghcm）basedonthestreamingdatatreatingprocessistreamisdesignedandimplemented，whichintegratestheinterdependenthighconcurrentreal?timeprocessingbusinesslogic，batchingbusinesslogicandcrossleveldynamiccallseamlesslywithaunifiedandflexiblehigh?levelabstraction.theexperimentaldatashowthatghcmhasgoodperformanceinsolvingthehybridcomputingdifficulty，andprovidesuserswithreusableandeasilyextensiblesupportwhilesignificantlyreducingdevelopmenttime. 　　keywords：ghcm;istreammodeldesign;dataprocessing;procedureseamlessintegration;systemimplementation;performanceanalysis 　　0引言 　　当前，大数据计算引擎及相应的编程模型已经成为云计算领域发展速度最快的技术之一，hadoop[1]作为典型代表，以其新颖的构思和出色的大规模数据处理能力一度成为首选的大数据分析和计算平台。然而，在研究和实际应用中人们已经意识到hadoop在面对低延迟和具有复杂数据关系的大数据问题时具有很大的不适应性[2?3]。随着不同应用场景的出现，hadoop在大数据处理领域的霸主地位被逐渐撼动，一大批新型计算引擎相继问世，spark[4]和storm就是其中的优秀代表，前者为海量数据批处理提供了高效的