单击此处编辑母版标题样式高能所云计算与大数据工作 - indico.pdfVIP

中国科学院高能物理研究所 单击此处编辑母版标题样式 高能所云计算与大数据工作 程耀东 高能所计算中心 13-3-19 目录 n  高能物理领域的云计算需求 单击此处编辑母版标题样式 n  虚拟化技术 n  云存储技术 n  桌面网格 n  数据中心管理技术 n  云计算及大数据应用 2/35 目录 n  高能物理领域的云计算需求 单击此处编辑母版标题样式 n  虚拟化技术 n  云存储技术 n  桌面网格 n  数据中心管理技术 n  云计算及大数据应用 3/35 高能物理是否需要云计算？ n  什么是云计算？ 单击此处编辑母版标题样式 Ø  大规模、弹性伸缩、提高资源利用率、灵活管理的IT技术　 n  为什么使用云计算？ Ø  集群、网格不行么 n  回顾计算技术发展历史 Ø  大型机、PC集群、网格、云计算、… n  实验规模越来越大，数据量越来越多，计算需求越来越大， 原有的计算技术还能满足吗？ 4/35 原有计算环境的挑战 n  计算系统以超级计算机、集群或者网格为主 n  多核计算迅速发展，物理机能力越来越强，原有的资源管理与调度器基 于物理机，对于调度准确度要求更高 单击此处编辑母版标题样式 Ø  静态调度：基于系统负载状态和作业信息将调度作业到物理机器上 Ø  难以满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不 同的物理资源的需求 Ø  如果作业类型与机器资源不匹配，会导致作业运行效率低。如果采用多队列 调度，又会导致队列之间的共享问题 n  计算应用越来越多样化，但是传统调度系统的接口单一、不易扩展，严 重限制了应用推广 Ø  基于集群或者网格构建分布式“私有云”，以按需定制的模式提供服务，可 满足应用日益增长的多样性和广泛性的需求 n  遗留程序越来越多，老操作系统和软件与新硬件无法配合，全部移植几 乎不可能 Ø  如不能兼容，原有宝贵的数据无法读取和分析 引入虚拟化技术！ 5/35 原有计算环境的挑战(2) n  存储以Lustre等高性能并行文件系统为主 n  容量管理 单击此处编辑母版标题样式 Ø  PB成为基本配置，10PB-20PB已经非常常见 n  文件管理 Ø  文件数量越来越多，数千万至10亿级别 n  设备老化 Ø  硬盘、电源等部件频繁出错，导致服务中断 n  元数据问题 Ø  可靠性 Ø  性能瓶颈 n  扩容问题 Ø  大规模数据迁移 引入云存储技术，针对性开发 ！ 6/35 目录 n  高能物理领域的云计算需求 单击此处编辑母版标题样式 n  虚拟化技术 n  云存储技术 n  桌面网格 n  数据中心管理技术 n  云计算及大数据应用 7/35 虚拟