dc资源管理系统.pdf

DC资源管理系统 中科院计算所 詹剑锋 /DComputing 提纲  概述  EC2模式下的资源管理  MapReduce Cluster 的资源管理  HPC in Cloud场景下的资源管理  相关系统  数据中心资源管理  结论 什么是资源管理？  In organizational studies, resource management is the efficient and effective deployment for an organization‘s resources when they are needed. （Wikpedia ）  通过有效的资源分配手段，在满足用户需 求的前提下，实现系统的高利用率和低成 本。 资源管理:计算机系统基本问题  不同粒度的资源管理  处理器资源管理  操作系统  广义的操作系统 资源管理系统的评价指标  服务端评价指标  系统吞吐率  Instructions  Threads  应用相关的指标  TCO (功耗)  客户端评价指标  应用平均响应时间、作业平均运行时间。。 资源管理系统的Benchmark  管理系统框架  负载traces  HPC  Cloud ? 提纲  概述  EC2模式下的资源管理  MapReduce Cluster 的资源管理  HPC in Cloud场景下的资源管理  相关系统  数据中心资源管理  结论 EC2概述  Pay as you go模式  Elastic Compute Cloud  Amazon 的云计算服务  基于Amazon 内部的大规模虚拟化数据中心平台  用户租用虚拟机实例(Virtual Instances)  通过Web客户端和API租用  $0.10 VM instance/hour EC2模式的资源管理  问题抽象  虚拟机在线放置问题  资源碎片=》在线迁移 First-Fit  very straightforward greedy approximation algorithm.  processes the items in arbitrary order.  For each item, it attempts to place the item in the first bin that can accommodate the item.  If no bin is found, it opens a new bin and puts the item within the new bin. Best-fit  为一作业选择分区时总是寻找其大小最接 近于作业所要求的存储空间 提纲  概述  EC2模式下的资源管理  MapReduce Clusters 的资源管理  HPC in Cloud场景下的资源管理  相关系统  数据中心资源管理  结论 并行数据处理模型- MapReduce 云计算数据中心资源管理  问题抽象  基于存储与计算平台的作业调度问题 数据位置