分布式多模型在线预测（DMOP）机制的设计与实现.pdfVIP

CN43—1258／TP 计算机工程与科学 2009年第 31卷第 A1期 ISSN 1007—130X COMPUTERENGINEERING SCIENCE Vo1．31，No．A1，2009 文章编号：1007—130X(2009)A1—0292—04 分布式多模型在线预测 (DMOP)机制的设计与实现 TheDesignandRealizationoftheMechanism ofDistributedMulti—Mode1OnlinePrediction(DMOP) 姚 培，周忠海。张 伟 YAO Pei，ZHOU Zhong-hai，ZHANG W ei (江南计算技术研究所，江苏 无锡 214083) (JiangnanInstituteofComputingTechnology，Wuxi214083，China) 摘 要：本文通过对海量信息处理集群 系统的负载特性进行收集和分析，提 出了一种分布式多模型在线预测 (DM0P) 机制，该机制包含四个关键模块：向后滑动聚合模块、负载图样评估模块、算法库模块和预测误差评估模块。本文通过试验 对模块实现进行了测试，证明了模块设计的有效性和实用性。在DMOP机制算法库模块架构下，本文提 出了一种改进的 AR(p)(自回归模型)预测算法，并通过 了测试。 Abstract：Thispaperreviewsthecurrentresearchonhostloadpredictionsystematicallyandanalyzestheadvantagesand disadvantagesofvarioustechnologiesinthefirstplace．Thenpresentsamechanism calledDM0P (distributedmulti-model onlineprediction)；W econfirmstheeffectivenessandfeasibilityoftherealizationofthemechanism viaalargenumberof tests．Moreover，thispaperproposesaimprovedAR(p)modelpredictionalgorithm intheDMOPmechanism algorithm li— brarymodulestructureandtesteditsrealization． 关键词：信息处理；负载预测；预测模型；自回归模型 Keywords：informationprocessing；loadprediction；predictionmodel；AR model doi：10．3969／j．issn．1007130X．2009．A1．083 中图分类号：TP333 文献标识码 ：A 需求 ，本文提出了如图1所示的分布式多模型在线预测机 1 引言 制DMOP(DistributedMulti～modelOnlinePrediction，简称 DMOP)机制。主要设计 目标是：整体预测误差小于 15 ， 大规模集群系统 已逐渐成为海量信息处理的主要平 预测精度稳定性好，能够实现不同时间跨度的预测，增加较 台。因此，研究基于集群系统的动态负载均衡机制对于提 少的额外开销，模块化设计具有可扩展性。分布式是指通 高集群系统的吞吐量和效率，提高海量信息处理技术的应 过将整个机制分布在各个节点上来收集数据进行预测，减 用水平具有非常重要的意义。本文对海量信息处理集群系 少了负载数据的传输，降低了集中预测单点故障的风险。 统的负载特性进行了系统的分析，得到了海量信息处理应