hadoop开发培训之国外、国内Hadoop应用的论文现状-北京尚学堂.docVIP

hadoop开发培训之国外、国内Hadoop的应用现状 摘要：Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国外、国内Hadoop的主要应用现状。 国外Hadoop的应用现状 1.Yahoo Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop机器总节点数目超过42?000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点（每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM）。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个，在Pig中超过60%的Hadoop作业是使用Pig编写提交的。 Yahoo的Hadoop应用主要包括以下几个方面： 支持广告系统 用户行为分析 支持Web搜索 反垃圾邮件系统 会员反滥用 内容敏捷 个性化推荐 同时Pig研究并测试支持超大规模节点集群的Hadoop系统。 2.Facebook Facebook使用Hadoop存储内部日志与多维数据，并以此作为报告、分析和机器学习的数据源。目前Hadoop集群的机器节点超过1400台，共计11?200个核心CPU，超过15PB原始存储容量，