基于云平台在线web挖掘中计算资源动态平衡的分析与实现-analysis and implementation of dynamic balance of computing resources in online web mining based on cloud platform.docxVIP

摘要随着因特网的飞速发展，网络上的信息也越来越丰富。网络新闻媒体已被公 认为是继报纸、广播、电视之后的 “第四媒体”。而且媒体信息的正确性和传播 范围都不易掌握。传统的在线 Web 挖掘系统可以及时发现网络中的舆情信息，对 舆论进行引导和监督。但网络中发布的信息在不同的时间段信息量是不一样的， 传统的在线 Web 挖掘系统没有考虑 Web 中发布的信息量随时间的变化，这既影响 了系统的实时性，又降低了资源的利用率。云计算是一种新兴的共享基础架构的方法，可以通过网络按需、易扩展的方 式获取所需的资源。本文针对传统在线 Web 挖掘系统的不足设计实现了一种基于 云平台的在线 Web 挖掘系统，并提出了三种资源动态平衡策略根据信息量变化动 态平衡计算资源，最后针对计算资源动态平衡过程中虚拟机数量变化显著的缺点， 提出了虚拟机池的概念来管理虚拟机的申请和释放。本文旨在通过以上研究提供 在线 Web 挖掘中实时性满足情况和计算资源利用率。本文主要研究内容如下三个 方面：（1）针对传统在线 Web 挖掘没有考虑 Web 中发布的信息量的变化，设计实 现了一种基于云平台的在线 Web 挖掘系统。并且为了充分利用云计算的特点，分 别设计了基于模板化的网络爬虫和基于计算资源动态平衡的信息处理。（2）在信息处理过程中，本文分别提出了基于预警的计算资源动态平衡策略 和基于队列等待时间的平衡策略，利用这两种策略可以根据网络爬虫爬取的网页 数量对计算资源进行动态平衡。并通过实验验证了两种策略的有效性，提高了系 统的实时性满足情况和计算资源的利用率。（3）由于网络信息量变化的不规律性和经常性，使得在计算资源的动态平衡 过程中虚拟机数量变化明显，虚拟机的申请与释放需要消耗大量的时间，降低了 系统的实时性。针对这个问题提出了虚拟池的概念。虚拟机池负责管理虚拟机的 申请与释放，允许系统反复的使用现有的虚拟机。主题词：Web 挖掘 云计算 资源动态平衡 虚拟机池ABSTRACTWith the rapid development of Internet, the web information is also increasingly diverse. Network media has been recognized as the fourth media following the newspapers, radio and television. And its hard to master the correction and the range of the media information. Traditional online Web mining systems cab detect the public opinion information on the web. And then guidance and supervise the public opinion. However, the amount of web information is different in a different time. The traditional online web mining system does not consider this difference, which affect the systems real-time and also reduce the resources utilization.Cloud computing is a new method of shared infrastructure. The user can get the required resources on-demand via the Web and the resources can easily extend. In this paper, in order to use the advantage of the cloud computing we design an online Web mining system base on cloud platform. And put forward two strategy of dynamic balance of computing resource and the concept of virtual machine pool. This paper aims to improve the real time of online web mining and computational resource utilization. This mainly includes the