[1] 构建一个机房的Hadoop集群.pptxVIP

  • 3
  • 0
  • 约4.01千字
  • 约 26页
  • 2019-07-17 发布于江苏
  • 举报
构建一个跨机房的Hadoop集群 吴 威(无谓)提纲项目背景构建跨机房集群的困难技术方案阿里巴巴离线数据处理现状两大离线计算平台云梯Hadoop集群: 2009年开始对内提供服务ODPS集群: 2012年开始服务特点大集群,多租户(5000),多资源组(150)生产任务、数据分析、数据开发和测试共享集群计算分时,存储和计算quota面临同样的问题:扩展性为什么要搞大集群?大集群的缺点稳定性不足:开发任务影响生产任务?数据没有冗余以上都可以通过技术解决优点数据管理方便:集中式权限管理和分配数据获取更加便利:开发人员直接读取生产数据方便的数据共享:跨部门数据使用运维和监控更加简单为什么要搞跨机房的大集群? 阿里云梯集群:单集群4500台,容量109PB,单机房!数据日增量大,扩容加机器,2T硬盘换4T,8核CPU换12核…机房规模是现阶段Hadoop集群规模的上限需要解决的问题NameNode的扩展性机房间网络限制数据应该如何跨机房分布?计算应该如何跨机房分布?几十PB数据的迁移,带数据升级怎样做到对用户透明?方案是否能扩展到多机房(=3)?NameNode的扩展性性能压力:存储容量上亿文件,上亿block可垂直扩展:物理内存,96GB-192GB-…-1TB?性能压力:RPC请求压力几乎所有的RPC是有状态的,需要全局锁,更新树Client请求: 5000(slaves) * 20(

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档