一种BP神经网络和遗传算法混合云平台负载预测方法.docVIP

一种BP神经网络和遗传算法混合的云平台负载预测方法 　　摘要：在云?算提供高效，便捷等强大服务的背后，是日益攀升的能耗问题。准确的预测云平台的负载（如CPU，内存的使用）在任务调度，云能效方面具有重要意义。在以往研究中，线性自回归算法在预测请求资源的粒度上存在不足，本文提出一种基于BP神经网络与遗传算法混合的负载预测方法，结合遗传算法良好的全局搜索能力与神经网络强大的非线性拟合能力，建立CPU资源的请求预测模型。实验通过Google的云平台数据作为训练，测试集。实验结果表明该方法有效的预测了CPU资源请求量，进而可以在此基础上调整服务资源，实现绿色调度。 　　引言 　　在云平台提供的强大功能背后，是巨大的能源消耗问题。一个占地500平方米的数据中心每天消耗的电力就高达38000度，这一数字超过了3500户欧洲家庭日用电量的总和。到2020年，预计数据中心的建设规模几乎将是2010年的两倍。从上述数字明显可以看出，为云计算设计高能效的解决方案迫在眉睫。 　　云能耗的优化可以从云任务和云平台的两个角度进行研究。 　　从云任务的角度，主要是分析云任务的多维属性，并利用算法来对云任务进行优化调度。云任务包括有静态属性和动态属性。静态属性如需要的CPU数量，任务的开始时间，截止时间，任务的类型等。动态属性如访问频率，存储要求，时间分布，用户请求模型等。挖掘出任务与能耗之间的关系将有助于提前预测负载，降低能耗。 　　从云平台的角度包括服务器，软件以及网络。从服务器角度来看，云能耗来源于处理器与数据中心两个层面，处理器的能耗的主要影响因素是应用程序的使用模式，而数据中心面临的是不断增长的主机数量与低使用率带来的能源浪费，据统计分析，云数据中心服务器的使用率一般在11%?50%之间。因此，如果能够较好的预测云平台cro的使用情况对于关闭部分服务器，提高调度效率具有重要意义。本文提出了一种基于神经网络和遗传算法混合的云负载的预测方法，根据历史数据预测未来短期CPU资源的需求，提高数据中心CPU的使用率，提局能效。 　　本文第1部分介绍相关工作的研究情况。第2部分提出基于神经网络与遗传算法混合的预测方法，第3部分实验及其结果分析，最后总结与展望。 　　1 相关工作 　　在服务器领域，一台完全空闲的服务器的能耗能达到其峰值的70%左右。处理器高能耗随之带来的问题是配套冷却设施的开销。据统计，计算资源消耗的每1瓦电能就需要额外的0.5?1瓦特进行冷却。Bohra等人采用“主成分分析”方法对监控事件的相互关联关系进行分析发现{CPU，Cache}对和{Disk，DRAM} 　　对有很高的相关性，由此把系统负载分成CPU密集负载和IO密集负载。Kaushik提出的绿色HDFS概念，将hadoop集群逻辑分为热区和冷区，采用数据分类与节能的策略确保在冷区存储的数据长期不被访问，从而关闭冷区的数据节点，但当冷区节点被唤醒的频率较高时，反而消耗更多能源。从软件层面上看，文献提出的一种绿色云架构实现虚机的重新配置，分配与再分配，以OPU的能耗为模型测量云平台的能源消耗。Biirge等人在异构的数据中心处理请求的调度上，关注用户任务布署的时间与节点，得出甚至只要运用很简单的启发信息都可以提高能效。在网络方面，文献中提出了一种域内流量工程机制GreenTE，能够在保证用户需求的前提下最大限度让数据链路进入休眠状态，Cianfrani等人提出一种能耗每女感的OSPF路由协议，通过优化Dijkstra算法与共享效率低的路由器最短路径树的方式，提供最少路径数的路由服务。 　　在预测资源请求方面，文献中通过分析主机状态间转换花费的时钟频率与电功率，提出绿色调度算法，用神经网络作为云资源的预测原型。但实验仅对NASA、Clark Netweb服务器url请求数作预测，粒度不够精细。John J.Prevost等人同样是预测url请求数，他们通过不同时间间隔模拟神经网络与线性自回归模型，从实验数据来看，二者都有较理想的近似曲线，但神经网络在90s间隔的案例中均方差值较大，预测效果不理想，分析得出神经网络存在收敛速度慢，易陷于局部最优解等不足。 　　2011年google对外公布了其29天的云平台实际数据，为进一步研究云平台信息提供了重要的实践依据。基于该数据，已经取得了相关的研究成果。其中，ZitaoLiu等人对此进行多方面的统计分析得出，在云计算中心任务的调度呈现周期性，其中被杀死（loll）和完成（finish）的任务（task）的数量相对稳定，而被杀死的任务占用CPU60%的时钟周期，可成功完成的任务仅占10%?15%，结论表明合理运用启发信息可提高完成任务所占用CPU时钟周期的比例。文献中提出一种预测失败任务的普适框架。作者分析云任务属性，以任