dc资源管理系统.pdfVIP

DC资源管理系统 中科院计算所 詹剑锋 /jfzhan /~zjf 提纲  概述  EC2模式下的资源管理  MapReduce Cluster 的资源管理  HPC in Cloud场景下的资源管理  相关系统 什么是资源管理？  In organizational studies, resource management is the efficient and effective deployment for an organization‘s resources when they are needed. （Wikpedia ）  通过有效的资源分配手段，在满足用户需 求的前提下，实现系统的高利用率和低成 本。 资源管理系统的评价指标  服务端评价指标  系统吞吐率、TCO 、功耗。。。  客户端评价指标  应用平均响应时间、作业平均运行 时间。。。。 资源管理系统的Benchmark  想一想！ 提纲  概述  EC2模式下的资源管理  MapReduce Cluster 的资源管理  HPC in Cloud场景下的资源管理  相关系统 EC2概述  Pay as you go模式  Elastic Compute Cloud  Amazon 的云计算服务  基于Amazon 内部的大规模虚拟化数据中心平台  用户租用虚拟机实例(Virtual Instances)  通过Web客户端和API租用  $0.10 VM instance/hour EC2模式的资源管理  问题抽象  虚拟机在线放置问题  资源碎片=》在线迁移 First-Fit  This is a very straightforward greedy approximation algorithm.  The algorithm processes the items in arbitrary order. For each item, it attempts to place the item in the first bin that can accommodate the item. If no bin is found, it opens a new bin and puts the item within the new bin. Best-fit  为一作业选择分区时总是寻找其大小最接 近于作业所要求的存储空间 提纲  概述  EC2模式下的资源管理  MapReduce Cluster 的资源管理  HPC in Cloud场景下的资源管理  相关系统 并行数据处理模型- MapReduce 云计算数据中心资源管理  问题抽象  基于存储与计算平台的作业调度问题 数据位置 计算资源 . . C B A A Node1 Node2. . . B Node3 Node5….