Hadoop系统介绍.pptVIP

Hadoop生态系统 分布式协调 ZooKeeper ZooKeeper 是应用程序用于维护配置、健康程度和节点之间的其他状态元素的集中式服务。 它维护了在大型集群环境中需要的一些常见对象，包括配置信息、分层命名空间，等等。 应用程序可以使用这些服务来协调在Hadoop集群中的分布式处理。 ZooKeeper 还提供应用程序的可靠性。如果某个应用程序主控程序出故障了， ZooKeeper 就会产生新的应用程序主控程序来恢复此任务。 Hadoop生态系统 机器学习 Mabout Mabout是一个可扩展的机器学习库 Mabout实现了许多不同的机器学习的方法。 Hadoop生态系统 工作流自动化 Oozie Oozie 是一个管理多级Hadoop 作业的工作流/协调系统。 Oozie使工作流决策基于作业的依赖关系。 对于设计工作执行图形， Oozie 是最好的工具。 Falcon Falcon 使得插入、管道和复制操作的数据移动和处理自动化。 当数据更改或变得可用时， Falcon 可以触发作业启动。 Hadoop生态系统 管理 Ambari Ambari 是一个基于Web 的Apache Hadoop 集群资源调配、管理和监控工具。 Hadoop 发展历史 Nutch GFS分布式存储系统论文 MapReduce分布式处理技术论文 2004 2003 Hadoop发展历