Hadoop生态圈背后隐藏的“凶险” .docVIP

Hadoop生态圈背后隐藏的“凶险” 伴随互联网的高速发展，大数据成为炙手可热的时髦产物。随之而来的是关于大数据的存储与计算问题。作为能够对大量数据进行分布式处理的软件框架Hadoop目前已经发展成为分析大数据的领先平台，它能够以一种可靠、高效、可伸缩的方式进行数据处理。 　　一、Hadoop生态圈的形成 　　大数据是个宽泛的问题，而Hadoop生态圈是最佳的大数据的解决方案。Hadoop生态圈的所有内容基本都是为了处理超过单机范畴的数据而产生的。 　　HDFSMapReduce 　　在最开始阶段Hadoop只包含HDFS(Hadoop Distributed FileSystem)和MapReduce两个组件。HDFS的设计本质是为解决大量数据分别存储于成百上千台机器上的问题，让客户看到的是一个文件系统而非很多文件系统，屏蔽复杂的底层调用。好比用户想要取/liusicheng/home/test1下的数据，只需要得到准确的路径即可获得数据，至于数据实际上被存放在不同的机器上这点用户根本不需要关心。HDFS帮助客户管理分散在不同机器上的PG级数据。这些数据如果都放在一台机器上处理，一定会导致恐怖的等待时间。于是，客户选择使用很多台机器处理数据。 　　Hadoop的第二个重要组件MapReduce被设计用来解决对多台机器实现工作分配