构建一个跨机房的Hadoop集群.pptxVIP

构建一个跨机房的Hadoop集群;提纲;阿里巴巴离线数据处理现状;为什么要搞大集群？;NameNode的扩展性 机房间网络限制 数据应该如何跨机房分布？ 计算应该如何跨机房分布？ 几十PB数据的迁移，带数据升级 怎样做到对用户透明？ 方案是否能扩展到多机房（=3）？;NameNode的扩展性;跨机房网络限制;;资源组切分和聚类;资源组切分和聚类 (cont.);跨机房的架构; 技术实现;HDFS federation;HDFS Federation (cont.);Namespace拆分：Fastcopy;CROSSNODE;CrossNode (cont.);CrossNode内部结构;如何对用户透明;Viewfs;NewFileSystem ;MR ProxyNode;MR proxynode (cont.);总结——我们的方案;Q A