基于HADOOP集群数据采集和清洗.docVIP

基于HADOOP集群数据采集和清洗 　　摘 要：互联网的到来，使计算机行业蓬勃发展，各公司的业务数据也都到达P级别的数据量。本文结合Hadoop框架的中Hive和Hbase，对各个模块进行了详细的描述，重点分析了集群搭建步骤，及如何对集群的数据进行采集和清洗，并通过建立表来存储分析结果。 　　关键词：海量数据；Hadoop；hive；数据采集；数据清洗 　　中图分类号：TP311 文献标识码：A 　　1 引言（Introduction） 　　Hadoop框架本身大多是用Java编程语言编写的，一些本地代码是使用C语言编写的，命令行实用程序写成shell脚本，同时随着不同公司的工作需要，随之产生了许多不同的版本，极大的丰富了Hadoop的内容，如同后续出现的Hive、Zookeeper。截至2013年，已经有超过一半的世界500强企业采用Hadoop。Hadoop也在技术上被世界所认同。随着技术的发展和革新，全球大多的企业都对Hadoop青眼有加。 　　目前为止，Hadoop已经涉及了全球一半以上的数据处理的工作，是当下最为实用数据处理平台，研究Hadoop会使得海量数据的处理变得异常轻松。Hadoop在现代社会的应用已经涉及了通信、电子商务、军事领域和互联网。 　　通过使用Hadoop，旅游公司通过Hadoop和Hive可以迅速的帮助游客筛选理想的旅游地点和酒店住宿等功能，并能够分析出中短期时间内旅游热门的趋势。而一些网络公司，如Facebook、百度等，也运用Hadoop来处理用户的状态更新，日志生成，并根据用户的喜好分析并推送相应的应用和产品。甚至军方也在应用Hadoop，譬如美国军方就应用Hadoop的Digital Reasning来梳理来自于情报部门的大量非结构化文本数据，并从这些分析报告中寻找出可能危害国家及人民安全的文件。最常用的也是我们普通人时时刻刻都在运用的搜素引擎，搜索引擎通过网络爬虫和建立索引来搜罗网上的信息，而这两项技术就依靠Hadoop平台，将网页上的内容爬取到字节的本地服务器上，然而百度的爬取量是非常巨大的，并且为了保证数据的新鲜度，百度需要时时刻刻的向不同的网站发送爬取的请求，所以就会拥有成千上万个爬虫程序同时爬取数据，这是一个非常大的挑战，运用Hadoop平台可以将爬取的数据高效的存储起来，当然这也是一个非常大的工程。爬取之后的数据存放在本地的服务器上，但是用户这个时候并不能通过这些数据查到东西，在查询之前，百度还需要将这些数据一一建立索引，就如同从字典中查汉字，字典中的偏旁部首就是索引，除了一些像的、和等字不需要之外，大部分的数据都需要一一建立索引，每种格式的文档都要有一种相对应的解析程序，以此来规避一些奇怪的符号，从而提取出数据中有用的信息。而索引的生成需要的就是高效的执行速度，所以需要运行在足够多个机器上，在每个机器上同时进行扫描输入数据和内存更新索引的操作，随着数据的增多，这些索引的合并操作是呈线性增长的，基于这个原因，Hadoop项目下的MapReduce就体现出了它的价值，MapReduce[1]是一个应用广泛的分布式计算框架，MapReduce会将一个比较大的任务分割成诸多小任务，并将这些小任务分发给多个Mapper程序，也就是将任务分割之后布置在成千上万台机器上同时运算，以此来提高效率[2]。而Hadoop在这一方面展现出了极大的优势。 　　大数据要经过清洗、分析、建模，以及可视化后体现出其潜在的价值。但是，由于网民数量的不断提升、社交网络的繁荣和业务应用的多样化，单个文件（如日志文件）变得越来越大，文件的存储成本和硬盘的读取速度越来越显得捉襟见肘。与此同时，政府、保险公司和银行等内部存在海量的不规则、非结构化的数据；只能将这些数据采集并清洗为有条理的数据，才能提高企业决策支撑能力，以及政府的决策服务水平，使其发挥应有的作用。 　　2 国内外研究现状（The research status at home and abroad） 　　2.1 国外文献研究 　　Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。Yahoo建立了一个300个节点的Hadoop研究集群，逐渐研究集群增加到600个节点。1.0.0版本出现，标志着Hadoop已经初具生产规模。 　　有人在ACM数字图书馆中以Hadoop为主题检索获得218篇论文，文献统计表明，对Hadoop进行研究的美国高校较多。企业中主要有雅虎等大公司，其他机构还有一些数据分析公司、研究所和技术协会等，具体统计见表1。 　　从研究内容上分析总体上可以分为理论和应用两大方面。理论研究主要是性能优化和任务调度，应用研究主要是数据分析和数据查询，结果如表2所示。 　　2.2 国内