大数据应用在云计算平台优化部署与调度策略研究.docVIP

大数据应用在云计算平台优化部署与调度策略研究 　　摘要：随着科技的发展与社会进步，大数据应用越来越广泛，与各行各业紧密结合，成为当代社会不可缺少的组成部分。近年来，基于云计算平台的大数据运用在资源配置层面实现了灵活性的有效提升，在进行大数据应用过程中，云计算平台能够根据大数据对平台的需求变化做出相应反映，同时，云服务下的收费大多以“按需获取”的模式进行，符合现代社会用户消费模式，尤其对于中小规模的用户，这一业务方式格外适用。应当注意的是，基于云计算平台的大数据运用也有着一些问题，大数据在云计算平台的性能即是其中较为核心的问题之一。文章以大数据在云计算平台的性能为核心展开探讨，对大数据进行分层优化与调度进行深入研究，并提出相应的优化部署与调度策略。 　　关键词：大数据；云计算平台；优化 　　1 大数据与云计算平台 　　伴随着互联网的兴起与广泛运用，21世纪进入了信息化时代，以社交网络、电子商务等一系列互联网技术与应用的普及，相应数据的处理与整合成为数据处理与应用亟待解决的问题。多样化的应用伴随而来的即是数据在规模与种类的飞速增长，数据处理及分析技术的改进势在必行。因而，各类大数据处理框架的开发与应用层出不穷，在一定程度上提高了对数据处理的效率，缓解了数据处理的压力。但这些数据处理框架往往对相应的软硬件要求较高，需要相应规模的计算机集群予以支持，这就对一些规模较小、资源有限的用户造成的一定困难。 　　为了解决这一问题，云计算平台为广大用户提出了一个最为经济、适用性最广的进行大数据应用的基础性平台。云计算平台主要是以服务为主，面向用户提供计算资源与计算功能，可以实现用户的“按需访问”，并以“按需付费”的业务模式进行，很大程度上同时解决了用户对资源的需求与硬件要求的矛盾。云计算平台可以实现大数据应用的迁移，弥补了传统大数据应用的运行缺陷：在技术层面上，云计算平台基于虚拟化技术，一方面，降低了大数据处理在软硬件的要求与成本投入，另一方面，云计算平台将地层平台资源与上层应用服务进行一定程度的耦合，提高了云计算平台中的资源调度的灵活性，在满足用户需求方面有着更大的空间；在业务模式上，云计算平台作为第三方，将大数据应用进行集中化，并提供专业的服务、维护与管理，以服务向用户收取费用，在这一业务运行模式下，用户无需对大数据应用进行维护与管理，只需按照自己的目的在云计算平台上接受服务，降低了用户成本，提高了用户的可用资源范围。 　　2 大数据应用在云计算平台的优化部署与调度策略研究 　　1.1 资源层优化部署策略研究 　　在资源层优化过程中，主要是针对云计算平台上虚拟计算资源性能的优化。在实际操作中，由于优化目标的差异，优化部署也不尽相同。从整体上看，主要可分为两类优化部署。其一是对虚拟集群通信性能进行优化，这一优化目标在于实现不同的虚拟机之间数据传输效率的提高；其二是以虚拟集群计算性能为核心的优化部署，其目标在对针对各个独立的虚拟机的数据处理性能的提升。 　　（1）资源层通信性能优化部署 　　在资源层通信性能优化中，主要针对云计算平台的数据通信性能进行，具体来说是针对云计算平台中的各项网络资源的配置、计算节点等的优化部署，其最终目的旨在实现云计算平台的虚拟集群的通信性能，优化内容主要是数据在虚拟机之间的传输时间。在传统的资源层分配中，虚拟机之间的通信耗时并不在研究范围之内，但在逐渐发展过程中，这一因素被加入其中并进行深入研究。例如，M.Li等人在研究MapReduce应用过程中，就数据本地化与任务本地化问题，对云计算平台数据节点、计算节点的部署与优化，设计出CAM这一基于MapReduce应用的优化部署策略。 　　（2）资源层计算性能优化部署 　　在资源层计算性能优化部署策略研究过程中，由于大数据作业框架及相关应用的差异及特性，在优化过程中，对云计算平台的虚拟机优化配置、位置部署、虚拟机群规模等参数差异较大，最终也是根据云计算平台的服务需要进行。 　　具体来说，是针对云计算平台上虚拟机分配、分布，虚拟计算节点与数据节点的位置等参数进行优化，以此达到资源层优化的最终目的。但就目前的优化部署来看，存在一定的缺陷。首先，资源层的优化部署目的明确，但过程过于片面化，仅仅局限于计算集群的计算性能与通信新能，而忽略了优化部署策略对整个云计算平台中大数据应用的影响，例如，是否会造成目前数据处理与传输需求的效率的降低问题。事实上，大数据应用在云计算平台上的优化并非是区域性的，而是会造成连锁反应进而影响全局，因此，片面地进行优化部署大多是不适用于整体性能优化的。其次，优化过程中成本问题的考量存在缺陷。 　　1.2 平台层优化部署策略研究 　　平台层的部署重点在于在云计算平台下，将不同的软件应用的镜像部署其中，并在资源层部署的基础上，