- 3
- 0
- 约4.01千字
- 约 26页
- 2019-07-17 发布于江苏
- 举报
构建一个跨机房的Hadoop集群 吴 威(无谓)提纲项目背景构建跨机房集群的困难技术方案阿里巴巴离线数据处理现状两大离线计算平台云梯Hadoop集群: 2009年开始对内提供服务ODPS集群: 2012年开始服务特点大集群,多租户(5000),多资源组(150)生产任务、数据分析、数据开发和测试共享集群计算分时,存储和计算quota面临同样的问题:扩展性为什么要搞大集群?大集群的缺点稳定性不足:开发任务影响生产任务?数据没有冗余以上都可以通过技术解决优点数据管理方便:集中式权限管理和分配数据获取更加便利:开发人员直接读取生产数据方便的数据共享:跨部门数据使用运维和监控更加简单为什么要搞跨机房的大集群? 阿里云梯集群:单集群4500台,容量109PB,单机房!数据日增量大,扩容加机器,2T硬盘换4T,8核CPU换12核…机房规模是现阶段Hadoop集群规模的上限需要解决的问题NameNode的扩展性机房间网络限制数据应该如何跨机房分布?计算应该如何跨机房分布?几十PB数据的迁移,带数据升级怎样做到对用户透明?方案是否能扩展到多机房(=3)?NameNode的扩展性性能压力:存储容量上亿文件,上亿block可垂直扩展:物理内存,96GB-192GB-…-1TB?性能压力:RPC请求压力几乎所有的RPC是有状态的,需要全局锁,更新树Client请求: 5000(slaves) * 20(
您可能关注的文档
- XX公司ERP业流程梳理和改进措施报告.ppt
- XXX康养基地项方案介绍.ppt
- XX公司网络项目标书.doc
- XX农村信用社客预留印鉴卡管理暂行办法.doc
- xx医院医疗纠纷理办法.doc
- XX县农村信用社额贷款客户资金归行率管理办法(讨论稿).doc
- XX加油站可行性究报告.doc
- XX县国家石漠化域火龙果栽培标准化示范区标准化培训计划方案.doc
- XX县电子商务扶方案.doc
- XX县人民武装部兵训练基地.doc
- 浙江外国语学院大学英语2024-2025学年期末试卷A卷可打印复习备考.docx
- 浙江工商大学计算机基础2024-2025学年期末试卷A卷完整版可打印备考参考.docx
- 浙江树人学院计算机基础2024-2025学年期末试卷A卷完整版可打印备考参考.docx
- 浙江万里学院计算机基础2024-2025学年期末试卷A卷可打印真题期末复习.docx
- 浙江音乐学院C语言程序设计2024-2025学年期末试卷A卷高清可打印期末冲刺.docx
- 浙江越秀外国语学院计算机基础2024-2025学年期末试卷A卷高清可打印期末冲刺.docx
- 浙江建设职业技术学院C语言程序设计2024-2025学年期末试卷A卷可打印大学生期末复习.docx
- 浙江经贸职业技术学院C语言程序设计2024-2025学年期末试卷A卷可打印大学生期末复习.docx
- 浙江科技大学C语言程序设计2024-2025学年期末试卷A卷可打印大学生期末复习.docx
- 浙江理工大学科技与艺术学院C语言程序设计2024-2025学年期末试卷A卷高清可打印期末冲刺.docx
最近下载
- 一年级下册数学两位数加减法竖式计算专项练习题(每日一练,共20份).pdf VIP
- 新中国史 超星尔雅学习通满分答案章节测验.doc VIP
- 一年级下册数学两位数加减法竖式计算专项练习题(每日一练,共9份).docx VIP
- 07K120 风阀选用与安装.doc VIP
- 基坑支护土方开挖及基坑降水施工专项方案.pdf VIP
- 一种智能化综合抗主副瓣干扰系统及方法.pdf VIP
- 护理教学查房规范专家共识(2025版).docx
- AOC显示器C32G1使用说明书.pdf
- 2026年河北省廊坊市社区工作者考试题库及答案.docx VIP
- 2025-2026学年贵州省贵阳市云岩区八年级(上)期末数学试卷.docx VIP
原创力文档

文档评论(0)