WEB数据挖掘在云计算环境下探究.docVIP

WEB数据挖掘在云计算环境下探究摘要：云计算是一种新兴的共享基础架构方法，它基于开放标准和服务，以互联网为中心，提供安全、快捷、方便的数据存储和网络计算服务。云计算环境下的数据挖掘的研究，可以提供更多和更大量的数据挖掘与解决方案。文章概述了云计算的概念和网络数据挖掘，涉及了常用的数据挖掘算法，以及运用云计算环境来提高Web数据挖掘策略。 关键词：云计算Web 数据挖掘 海量数据 算法 中图分类号：TP3913 文献标识码：A 文章编号：1007-9416（2013）03-0092-01 2011年美国搜索市场收入153.6亿，与2010年相比增长27.9%，中国的搜索市场收入188.9亿年，与2010年相比增长71.1%。2011年搜索引擎在互联网的使用增加了8.8%，81.9%的利用率成为互联网用户针对各种各样的网络应用程序的首例，从传统的互联网门户网站到搜索引擎的转变明显。网络技术的飞速发展所产生的海量网络信息促进生产和消费行为快速发展。电脑、手机、平板电脑等终端集成，迅速发展的SNS、微博客和其他web应用程序，促进了互联网信息容量急剧增加，前所未有地丰富了信息资源。但与此同时，大量碎片信息增加了获取有效信息的时间成本。同时，2011年企业广告大幅增加。 1 云计算的概念 云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等产品的融合，是传统计算机和网络技术的发展。广义云计算指服务交付的使用模式，指通过网络，易于扩展要求的服务方式。这个服务有它的软件和互联网相关服务，还有其他服务。狭义云计算是指交付的基础设施使用模式，指按需的、易扩展的方式通过网络去获取所需的资源。 2 云计算的关键技术 （1）大规模分布式存储技术：云存储数据的实现通过使用分布式存储模式，可以确保高可靠性、高可用性、经济。高可靠性的数据存储，是利用冗余存储的方式来保证可靠软件来弥补硬件的不足，提供廉价可靠的大规模分布式存储和计算服务。 （2）数据管理技术：云计算系统处理和分析大数据集通常给用户提供高效的服务。所以云数据管理技术必须能够有效地管理大型数据集。另一个云数据管理技术必须解决的问题，是如何在一个巨大的数据集找到特定的数据。 （3）虚拟化技术：虚拟化技术是一种分配计算资源方法，它将不同级别的应用系统——硬件、软件、数据、网络、存储等孤立，从而打破数据中心、服务器、存储、网络、数据和应用物理设备之间的分工，实现动态体系结构，实现集中管理和动态使用的物理资源和虚拟资源，提高了高弹性和灵活性的系统结构，降低了成本，改善了服务，降低了管理风险等。 3 WEB数据挖掘 WEB数据挖掘又称为“网络挖掘”，它是互联网应用结合数据挖掘技术的研究领域。Web数据挖掘的一般定义如下：Web数据挖掘网络中的文档结构和使用结构中发现隐藏的模式。如果将C作为输入，P为输出，Web数据挖掘过程是一个从输入到输出的映射。WEB数据挖掘技术从大量的网络数据中发现潜在的有用信息，最终可以理解的知识（包括概念、模式、规章、规则、约束和视觉形式）的过程。网络数据挖掘技术覆盖多个研究领域，包括数据库技术、信息获取技术、统计学、机器学习、神经网络等。 4 网络的分类数据挖掘 Web挖掘技术根据挖掘方向一般分为三类：Web内容挖掘，网络结构挖掘和网络使用挖掘。 （1） Web内容挖掘：Web内容数据挖掘是指从大量的Web内容挖掘发现的信息中提取知识。网络数据是在网页上各种各样的内容和链接所指向的网络数据库中的数据。Web内容挖掘也可以分为多媒体网络文本挖掘和网络挖掘，其不同的特征是提取方法是不同的。Web内容挖掘方法可以分为数据库方法和信息提取方法。 （2）网络结构挖掘：从Web网络组织结构挖掘和Web文档结构，以及其链接挖掘潜在关系知识模式。通过分析网络结构，可以发现页面结构和包含在关系模型中的有用链接；也可以在页面上进行分类和聚类，发现权威页面。 5 Hadoop 云计算的开源系统最著名的是Hadoop。它模仿云计算的开源系统和关键技术实现谷歌云计算架构BigTable和MapReduce。Hadoop是一个Apache开源分布式计算框架组织，可以在大量的廉价集群上运行应用程序的硬件设备，提供了一套稳定、可靠的应用程序接口，旨在构建一个分布式系统，具有高可靠性和良好的扩展性。云计算变得越来越流行，项目被越来越多的个人和企业接受。Hadoop的HDFS是核心的MapReduce和Hbase。Hadoop具有如下优点：（1）可扩展性：两个存储可伸缩、可扩展的计算模型；（2）经济：Hadoop数据分布由一个便宜的Pc集群进行处理；（3）可靠性：备份恢复机制和HDFS任