Hadop宝刀未老.docVIP

Hadoop宝刀未老 　　随着越来越多新的开源技术的出现和应用，Hadoop似乎已经过了起初的“疯涨”期并逐步回归理性，但这并不意味着Hadoop这只黄色的“小象”过时了，企业基于Hadoop的开源平台部署大数据炙手可热。 中国论文网 /1/viewhtm　　Hadoop作为Apache软件基金会管理的开源软件平台，正在步入稳步、理性增长的阶段，越来越多的企业开始利用Hadoop落实在大数据、云计算方面的应用。当然，和其他开源技术一样，随着更多人使用，更多人贡献，开源社区才能不断完善，而如此良性循环才会促进更多开源技术的持续繁荣。如此说来，Hadoop与众多技术一样，也同样面临着自身的新陈代谢和相关新技术的挑战。 　　Hadoop成长记 　　Hadoop的诞生是与大数据紧紧绑定在一起的，为什么会这么说呢？这要从2002年说起，Hadoop的创始人Doug Cutting和Mike Cafarella开始开发一个网络搜索引擎：Nutch。但是，他们很快意识到最初的实现无法扩展。随后在2003到2004年，Google的两篇文章GFS（分布文件系统）和MapReduce（分布计算）横空出世。GFS介绍如何实现分布式地存储海量数据；MapReduce介绍如何对分布式大规模数据进行处理。很快Nutch实现算法被移植到使用MapReduce和NDFS （Nutch Distributed File System）来运行。2006年，他们从Nutch转移出来成为一个独立的Lucene子项目，称为Hadoop。2008年，Hadoop已成为 Apache顶级项目，随后打破世界纪录，成为最快排序1TB数据的系统。运行在一个910节点的群集，Hadoop在209秒内排序1TB的数据（还不到三分半钟）。由此，Hadoop作为一种开源的适合大数据的分布式存储和处理平台诞生了。 　　对于Hadoop，Apache给出的正式定义是：Hadoop被设计成能够从单台服务器扩展到数以千计的服务器，每台服务器都有本地的计算和存储资源。Hadoop的高可用性并不依赖硬件，其代码库自身就能在应用层侦测并处理硬件故障，因此能基于服务器集群提供高可用性的服务。 　　如果从定义中解读Hadoop的特征，可以看出：Hadoop是一个开源的框架，能够进行大规模数据集的分布式处理；Hadoop可用计算机集群存储海量数据，具有能够检测和处理应用层错误的能力；Hadoop几乎完全是模块化的，架构灵活且保持高效。值得肯定的是，这些特征都为近年来火热的大数据应用落地起到了关键作用。于是，在某种意义上讲，大数据与Hadoop可以相提并论。 　　随着人类逐步进入大数据时代，海量的数据处理对现有软硬件系统提出了更高的要求，利用Hadoop构建的处理海量数据的分布式系统具有高容错性、可伸缩性、低成本和良好的扩展性等特点。尽管目前大数据技术还未形成统一标准，但业界已广泛使用Hadoop分布式系统作为云计算平台。 　　Hadoop的关键技术主要涉及分布式文件系统HDFS、分布式并行计算模型MapReduce和分布式数据库HBase。最初在互联网领域应用范围较广，包括Web搜索、广告系统、数据分析、机器学习、网页数据挖掘等许多任务都在Hadoop平台上运行。 　　到现在Hadoop已有16个年头，这对于一个实用技术的稳定发展已足够长久。事实上，不但在互联网领域，更在工业、商业、通信、金融、传媒等存在久远。 　　比如，零售业追踪和分析用户行为，提升客户体验、生产线上巨量传感器数据的接收分析、通信系统全程全网的实时日志文件采集与分析、医疗系统密集数据采集与分析，从而帮助快速地科学诊断……所有这些都需要新型的数据处理技术来支撑。Hadoop在这些领域突显了强大的竞争力，并在国内外的相关实践中获得广泛应用。 　　虽然在社交媒体的帮助下，零售商可以很容易地与客户进行沟通，但与社交媒体相比，Hadoop的出现使零售商与客户之间的互动变得更加容易。客户可直接进行意见反馈，广告可根据状态和搜索条件进行更为精准地投放。Hadoop能够扫描和存储交易数据，识别客户生活周期的不同阶段，帮助零售商降低库存成本，增加销量，吸引和维持客户群数量。 　　对于零售商来说，重要的是清楚公众对他们品牌的态度，这样能够有针对性地调整促销、广告、位置和相关策略。Hadoop可帮助存储和处理这些来自社交媒体网站和浏览器搜索的信息，从而提升零售商的实时洞察力。 　　在通用电气公司，数字媒体小组和Hadoop小组通力合作，为高度依赖高级情感分析功能的营销部门开发了一款交互式应用软件。此举目的在于，让营销小组能够通过通用电气开展的各项活动，评估外界对通用电气所持的看法（正面看法、中立看法或负面看法）。Hadoop负责支持该