DC资源管理系统.PDF

DC资源管理系统 中科院计算所 詹剑锋 /jfzhan /jfzhan 提纲  概述  EC2模式下的资源管理  MapReduce Cluster 的资源管理  HPC in Cloud场景下的资源管理  相关系统 什么是资源管理？  In organizational studies, resource management is the efficient and effective deployment for an organization‘s resources when they are needed. （Wikpedia ）  通过有效的资源分配手段，在满足用户需 求的前提下，实现系统的高利用率和低成 本。 资源管理是计算机系统的基本问 题  处理器资源管理  操作系统  广义的操作系统 资源管理系统的评价指标  服务端评价指标  系统吞吐率  Instructions  Threads  应用相关的指标  TCO 、功耗。。。  客户端评价指标  应用平均响应时间、作业平均运行时 间。。。。 资源管理系统的Benchmark  管理系统框架  负载traces  HPC  Cloud ? 提纲  概述  EC2模式下的资源管理  MapReduce Cluster 的资源管理  HPC in Cloud场景下的资源管理  相关系统 EC2概述  Pay as you go模式  Elastic Compute Cloud  Amazon 的云计算服务  基于Amazon 内部的大规模虚拟化数据中心平台  用户租用虚拟机实例(Virtual Instances)  通过Web客户端和API租用  $0.10 VM instance/hour EC2模式的资源管理  问题抽象  虚拟机在线放置问题  资源碎片=》在线迁移 First-Fit  This is a very straightforward greedy approximation algorithm.  The algorithm processes the items in arbitrary order.  For each item, it attempts to place the item in the first bin that can accommodate the item.  If no bin is found, it opens a new bin and puts the item within the new bin. Best-fit  为一作业选择分区时总是寻找其大小最接 近于作业所要求的存储空间 提纲  概述  EC2模式下的资源管理  MapReduce Clusters 的资源管理  HPC in Cloud场景下的资源管理  相关系统 并行数据处理模型- MapReduce 云计算数据中心资源管理  问题抽象  基于存储与计算平台的作业调度问题 数据位置