- 1、本文档共31页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大规模容器集群降本增效实践
QCon 2023全球软件开发北京大会
基于业务负载动态调整资源在集群调度系统中的应用
谭霖 / 美团 基础研发平台
目录
1. 在线集群调度的核心挑战
2. 集群负载自动管理系统 (LAR )落地实践
3. 在线集群调度的运营实践
QCon 2023全球软件开发北京大会
4. 在线集群调度的演进思考
3
在线集群调度的核心挑战
QCon 2023全球软件开发北京大会
4
集群调度领域介绍
集群调度系统又叫做数据中心资源调度系统,目标是
提升数据中心资源利用率,并为业务方提供自动化运
维能力: QCon 2023全球软件开发北京大会
• 整合数据中心的零散异构服务器为大规模弹性计算资源
池,并结合存储/网络能力,为业务按需分配计算能力。
• 通过集群规模效应,降低计算成本
5
集群调度的挑战与困难
提高在线集群
资源利用率
同时保障应用
服务质量
QCon 2023全球软件开发北京大会
提供有状态服 解决不同业务
务实例的自动 之间的个性化
化变更和异常 调度需求并快
处理 速响应
6
行业资源利用率水平
• 2020年全球数据中心的服务器总量达到1800万台,并且正以每年100万台的速度增长。
• 统计数据表明,目前全球数据中心资源利用率仅为10%~20% ,如此低的资源利用率意味着数据中心大量
的资源浪费,导致目前数据中心的成本效率极低。
QCon 2023全球软件开发北京大会
7
美团业务特征
美团部分在线服务具有明显的双峰特征
QCon 2023全球软件开发北京大会
分配给业务的资源在时间和空间维度存在闲置
8
资源利用率提升难点
资源利用率与服务质量的矛盾
• 在线应用对于资源利用率及其敏感,部署在物理机的服务在共享资源 (CPU、Memory、
IO 、LLC )使用上存在相互干扰
• 利用率水平越高越容易出现业务服务质量受影响的问题
高频问题场景: QCon 2023全球软件开发北京大会
问题场景一:热点宿主问题 问题场景二:集中调度问题 问题场景三:资源争抢问题
容器扩容到集群的热点宿主,影响业务 某个业务的实例都聚集调度到个别宿主 宿主资源不足时,出现核心服务被非核
服务质量 /交换机下,硬件故障后影响大 心服务干扰,影响性能
您可能关注的文档
- Android大型原生应用性能优化实践.pdf
- CLIP 模型在线上大规模部署的最佳实践.pdf
- Cloud IDE 在美团从 0 到 1 落地实践.pdf
- EtLT场景下的数据集成平台Apache SeaTunnel.pdf
- FastData DLink 实时湖仓引擎架构设计与落地实践 .pdf
- FinOPS 从概念到落地.pdf
- KMM 技术在移动 App 开发中的探索与实践.pdf
- OPPO 全球混合云建设之路 .pdf
- Prometheus大规模业务监控实战.pdf
- QCon 大会内容策划思路.pdf
- 第18讲 第17课 西晋的短暂统一和北方各族的内迁.docx
- 第15讲 第14课 沟通中外文明的“丝绸之路”.docx
- 第13课时 中东 欧洲西部.doc
- 第17讲 第16 课三国鼎立.docx
- 第17讲 第16课 三国鼎立 带解析.docx
- 2024_2025年新教材高中历史课时检测9近代西方的法律与教化含解析新人教版选择性必修1.doc
- 2024_2025学年高二数学下学期期末备考试卷文含解析.docx
- 山西版2024高考政治一轮复习第二单元生产劳动与经营第5课时企业与劳动者教案.docx
- 第16讲 第15课 两汉的科技和文化 带解析.docx
- 第13课 宋元时期的科技与中外交通.docx
文档评论(0)