Hadoop2.0x新特性介绍.pdfVIP

Apache Hadoop 2.0 下一代数据处理框架介绍 主要内容 •Hadoop 1.0 的局限性 •Hadoop 2.0 新特性介绍 •Hadoop现状及最新进展 Hadoop1.0 的局限- HDFS ※资源隔离 ※元数据扩展性 ※访问效率 ※数据丢失 ※单点的问题 Hadoop1.0 的局限-MapReduce 当map-reduce job 非常多的时候，会造成很大的 •扩展性 内存开销，潜在来说，也增加了JobTracker fail 的风险，这也是业界普遍总结出老Hadoop 的 –集群最大节点数–4000 Map-Reduce 只能支持4000 节点主机的上限。 –最大并发任务数–40000 •可用性 –JobTracker 负载较重 –存在单点故障, 一旦故障， 所有执行的任务的全部失败 •批处理模式, 时效性低 –仅仅使用MapReduce 一种计算方式 •低效的资源管理 –把资源强制划分为map task slot 和reduce task slot, 当系统中只 有map task 或者只有reduce task 的时候，会造成资源的浪费 Next-Gen DataProccess Platform-Hadoop2.0介绍 Single Use System Multi Purpose Platform Batch Apps Batch, Interactive, Online, Streaming, … Hadoop 1.0 Hadoop 2.0 MapReduce(v2) Others (data processing) (data processing) MapReduce(v1) (cluster resource management YARN data processing) (cluster resource management) HDFS HDFS2 (redundant, reliable storage) (redundant, reliable storage) Hadoop 2.0新特性 –由HDFS、MapReduce和YARN三个分支构成 –HDFS：支持NN Federation、HA –MapReduce：运行在YARN上的MR，编程模型不变 –YARN：资源管理系统 –HDFS Snapshots ：HDF快照 –NFSv3 Hadoop2.0 新特性: YARN-产生背景 •直接源于MRv1在几个方面的无能 –扩展性差，JobTracker 成为瓶颈 –可靠性