基于Hadoop和Hbase的Nutch分布式海量数据存储模型的研究8.doc

基于Hadoop和Hbase的Nutch分布式海量数据存储模型的研究 施磊磊，施化吉 (江苏大学 计算机科学与通信工程学院，江苏镇江212013) 摘 要：针对Nutch分布式海量数据进行存储的效率问题，现行的存储方案已经很难提供高效、可靠的服务，本文设计并实现了一种管理和存储海量数据的平台模型。该模型利用Solr分布式索引器、Hadoop分布式集群，以HDFS分布式文件系统、MapReduce并行计算模型以及Hbase分布式数据库技术作为处理和存储海量数据的方法，实验证明该模型可以很好地克服现行的存储方式存在的不足，解决了海量数据在存储当中存在的问题，同时具有良好的扩展性和可靠性，能大大提高存储的效率。 关键词：Hadoop集群; Nutch; Hbase; MapReduce Research on Nutch distributed mass data storage model based on Hadoop and Hbase SHI Lei-lei ， SHI Hua-ji (School of Computer Science and Telecommunication Engineering， Jiangsu University， Zhenjiang 212013， China)Abstract: Nutch distributed for mass data storage efficiency, the existing storage solution has been difficult to provide efficient and reliable service, we designed and implemented a massive data management and storage platform model。 The model uses a distributed Solr indexer, Memcached distributed caching system, Hadoop distributed cluster to HDFS distributed file system, MapReduce parallel computing models and Hbase distributed database technology as massive data processing methods to achieve efficient storage, experimental prove that the model can well overcome the existing storage deficiencies, massive data to solve problems in the storage of which, also has good scalability and reliability, can greatly improve storage efficiency。 Keywords: Hadoop cluster; Nutch; Hbase; MapReduce  1 引言 Nutch是一个开源的搜索引擎，它使用Java语言开发，具有跨平台应用的优点，Nutch作为网络爬虫和lucene的结合，功能上极其强悍，每个月数以亿计的网页爬取量，网页搜索的高速，开源的功能剖析都是我们选择它的关键因素。此外基于 Hadoop的MapReduce编程模型和分布式文件系统HDFS，都可以让我们用户可以快速高效地实现运行在数百台乃至数千数万台计算机上，能够在短时间内完成海量数据的计算与分析[1]。 但是，随着科学技术的不断发展，网络上信息的规模正在以指数趋势上升。整个互联网每天都会产生海量的数据，所以Nutch分布式网络爬虫每天爬取到的数据量日益剧增，怎样高效地对爬取到的海量数据进行存储已经成为人们越来越关注的问题。传统的基于单机或者集中式的数据管理模式已经不适合海量数据的存储。本文设计并实现了一种管理和存储海量数据的平台模型，该模型利用Hadoop分布式集群，以HDFS分布式文件系统、MapReduce并行计算模型以及Hbase分布式数据库技术作为处理海量数据的方法，是一种分布式处理并存储海量数据的计算模型。它主要通过网络将庞大的计算机处理程序和相关的数据资源自动拆分成无数个子程序和块，再交给多台计算机组成的庞大集群服务系统进行分析处理，最后将处理结果再存储在本地集群的硬件设备中。这种模型利用大量廉价的硬件设备组成的集群来构建一个高可靠性和良好扩展性的并行分布式系统处理并存储海量数据。 2 Nutch海量数据存储平台模型 2.1 Nutc