Linux系统与大数据应用课件：大数据开发平台.pptxVIP

Linux系统与大数据应用;;本章内容;8.1大数据开发平台简介

;随着信息产业的飞速发展，大数据技术的应用已经潜移默化的走进人们的生活。

首先，大数据应用于方便人们日常生活的小工具。例如，近年来输入法的改良。无论是手写输入还是拼音输入，利用大数据为基础，许多输入法都开发了提前预测和拼写纠错的功能。

其次，大数据应用于网络消费者的购买预测与商品比较。网络用户浏览网页时产生的数据会被网站记录下来，网站将这些海量数据进行分析整理，针对不同人群的喜好，在屏幕上弹出与之喜好相符的小广告，尽可能地节省广告空间，挖掘用户的购买欲望，提高销售额。同样，从消费者的角度来看，大数据可以帮助消费者快速找出来不同厂家的类似商品，方便消费者货比三家，挑选到自己满意的商品。;从以上触手可及的应用，可以看出，在当今人们的生活中，大数据发挥着重要的作用。虽然大数据才刚开始应用于很多领域，但是从大数据的原理和发展现状来看，大数据应用具有广阔的发展前景。

在信息产业高速发展的时代，大数据逐步深入人们的生活，大数据的应用给人类的发展产生深远影响。随着时代的进步，大数据将更好地为人类服务，给人们的日常生活提供方便。通过运用过去无法获取的数据来催生新的服务，是一条人们对未来大数据应用发展的新思路。

;Hadoop是一个由Apache基金会所开发的分布式系统基础架构，一个开源分布式计算平台。以Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成分布式系统；MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用Hadoop轻松地组织计算机资源，从而搭建自己的分布式计算平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理。简单地来说，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。;Hadoop的源头是ApacheNutch，该项目始于2002年，是ApacheLucene的子项目之一。2004年，Google在“操作系统设计与实现”（会议上公开发表了题为MapReduce：SimplifedDataProcessingonLargeClusters（《MapReduce：简化大规模集群上的数据处理》）的论文之后，受到启发的DougCutting等人开始尝试实现MapReduce计算框架，并将它与NDFS（NutchDistributedFileSystem）结合，用以支持Nutch引擎的主要算法。由于NDFS和MapReduce在Nutch引擎中有着良好的应用，所以它们于2006年2月被分离出来，成为一套完整而独立的软件，并命名为Hadoop。到了2008年年初，Hadoop已成为Apache的顶级项目，包含众多子项目。它被应用到包括Yahoo！在内的很多互联网公司。

;8.2Hadoop框架介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.1Hadoop框架及组件介绍;8.2.2Hadoop的核心组件;8.2.2Hadoop的核心组件;8.2.2Hadoop的核心组件;8.2.3Hadoop的安全性;8.2.3Hadoop的安全性;8.2.3Hadoop的安全性;8.2.3Hadoop的安全性;8.2.3Hadoop的安全性;8.2.3Hadoop的安全性;8.2.3Hadoop的安全性;8.2.3Hadoop的安全性;8.