分布式计算平台中任务调度算法设计-design of task scheduling algorithm in distributed computing platform.docxVIP

目录第一章绪论11.1研究背景11.2研究目的和意义21.3本文的主要工作31.4论文结构3第二章相关理论介绍52.1分布式计算52.1.1分布式计算的原理52.1.2分布式计算的发展62.1.3分布式计算技术种类62.2分布式计算中的任务调度算法72.2.1任务调度模式72.2.2经典任务调度算法82.3小结9第三章分布式计算平台的设计103.1需求分析103.2分布式计算平台的总体设计113.3分布式计算平台的任务流程设计133.4客户端143.4.1文件类型143.4.2任务来源143.4.3任务类型及范围163.4.4计算项目提交和任务管理173.5服务器端183.5.1数据管理模块183.5.2平台监控管理及功能接口模块193.5.3任务调度模块203.6计算节点213.6.1任务执行层模块223.6.2计算服务流程描述233.7小结254.3实验验证及结果分析324.3.1模拟计算环境324.3.2评价指标324.3.3实验设计334.3.4实验结果分析344.4小结36第五章分布式计算平台的实现385.1开发环境介绍385.1.1计算节点配置385.1.2服务器配置385.1.3平台开发语言及工具385.2结构化设计395.3分布式计算平台功能划分425.4功能接口设计445.5运行结果455.5.1主界面455.5.2计算节点界面475.6小结48第六章结束语496.1工作总结496.2进一步的研究工作49参考文献50发表论文和参加科研情况说明53致谢54第一章绪论1.1研究背景随着科学技术的迅猛发展，在学术研究和工程实践等多个领域，需要通过大量的复杂计算才能实现目标。同时，互联网的迅速发展，相关的业务如数据共享、信息汇总等的数据规模也在超速的增长，其过程大都涉及到对海量数据的处理，其计算的复杂度也是相当高的。这些都对计算机的性能提出了很高的要求，但实际上购买价格极高的高性能超级计算机是不现实的。所以，提出一种方案，可以整合网络上的计算机资源，对复杂任务或者海量数据进行适度的分解，将这些分解后较小的计算片段分配到多个计算机资源上进行分布式计算，最后计算出最终的结果。这样的方案，可以充分挖掘网络中闲置的处理潜力，进而高效合理的利用这些资源完成复杂的计算任务，加快了计算执行的效率，体现了计算的高并行性，是一种有效实惠可行的工作方案。本课题依据这样的背景产生的，由于在实际的课题研究中发现，常常需要处理大规模的数据，受到单一计算机处理能力的限制，往往会使得计算时间过长，甚至无法产生计算结果。因此，本文主要针对计算量较大、任务可分解和结果可合并的计算进行讨论，引入分布式计算解决方案，以达到目的。分布式计算的最大优点是：成本较低、运行效率较高，越来越受到研究工作者的关注。分布式计算平台是许多单个计算资源的集合，越来越多的领域开始利用分布式计算平台处理计算任务，产生了许多分布式计算技术，如中间件技术、元计算、网格计算、移动Agent技术和P2P技术，以及最近出现的WebService技术。互联网和WEB技术实现网络中硬件设备和网页的连接，而分布式计算技术的思路是要实现更多共享资源的融合，通过整合和共享利用互联网中的各类空闲资源，使之成为一个大型的超级计算机，协同各种资源，完成大型计算任务，开创一种新型的计算模式。在国外，较为成熟的分布式计算和存储平台有诸如Google的基础架构包括GFS，Map/Reduce[9]，BigTable以及Hadoop系统，其核心部分是数据中心，应用虚拟化、SOA、WEB2.0等一系列技术形成新型分布式计算平台。为了避免大量高价的硬件投资，企业和个人也可通过互联网从分布式计算平台中得到较高的计算能力。ETI@home[10]（SearchforExtraTerrestrialIntelligenceathome，在家搜寻外星文明），是一个通过互联网利用家用个人计算机处理天文数据的分布式计算项目。SETI@home程序在用户的个人计算机上，通常在屏幕保护模式下或以后台模式运行。它利用多余的处理器资源，不影响用户正常使用计算机[1-8]。在国内，分布式云计算发展也十分迅猛，从2008年至今，像IBM和阿里巴巴等企业都在中国前后分别成立了“云计算中心”和“电子商务云计算中心”，投资额都到达了上亿人民币。中国各大高校建立了云计算联合实验室，从理论步入了实际的应用，特别在数据中心的建设中应用到了云计算的大量理论思想，经历了物理数据中心、虚拟化数据中心、私有云、混合云四个发展阶段。政府积极推动云计算，物联网的发展，从2010年到2011年先后发布了大量云计算发展规划书，为云计算等新兴产业的发展提供了有力的支持[9-15]。就目前来看，分布式技术应用非常广泛，但是其中存在一些的不足之处，主要是：1）分布式系统