南京大学计算机学科HPCC平台的构建思路.docxVIP

精品文档（可编输） 值得下载 精品文档（可编输） 值得下载 精品文档（可编辑） 值得下戦 精品文档（可编辑） 值得下戦 南京大学计算机学科HPCC平台的构建思路 一、为何选择HPCC模式 选择HPCC模式主要基于以下原因： （1） 我校公共计算平台与髙性能计算中心的服务对 象不同，无法实现统一管理。 （2） 有利于集中资金整合资源打造提供计算服务的 公共大平台，消除计算资源分散带来的诸多问题。 （3） 利用云计算的的特点，通过部署云计算管理平 台，将数据中心的硬件资源、软件资源、数据资源整合。 二、构建思路 HPCC平台建设目标 （1）充分发挥投资效益，尽量提高设备使用效率 1） 计算效率 不只是高性能设备的堆砌，而是让设备发挥出髙性 能，让应用享用到髙性能，让用户体验到髙性能；优化进程 /线程并行度获得最优加速比和处理器（核）载荷，优化内 存利用率获得最大内存带宽，优化指令利用率获得指令最大 吞吐量。 2） 管理效率 最大化资源共享，减少设备独占性；减缓资源忙闲不 匀，提高设备利用率，减少设备空载，节约能耗；对资源的 占用按需动态调节，不同用户在同一组设备上灵活切换，并 能合理重配资源，当资源所剩无几时，即使设备未增加，新 用户仍能提交作业；资源重复利用，新用户可以分享老用户 释放的资源，并保证老用户能方便再度获得资源且恢复到先 前的运行环境。 HPCC平台建设原则 （1） 应用为先（适用） 综合各研究方向需求，兼顾共性并尽可能考虑到个性 化，选择最适宜的软硬件平台，由应用决定平台，而不是由 平台限制应用。 选择的方案需确保其跨越硬件架构与操作系统平台， 兼顾虚拟资源分配与物理设备切换，支持多种编程模式，满 足各种应用的不同需求。 （2） 创新为体（够用） 在架构设计时充分考虑高性能计算技术发展趋势，采 用先进的产品和创新的思路，最大化利用现有投入，并考虑 到今后扩展的需求。绝不仅仅是一组高性能设备的建设，而 是一个多功能、多应用、多客户的服务平台，引入当今先进 的云计算技术是适宜的 （3） 效率为要（好用） 坚持够用原则，不追求超越实际需求的规模，不去比 较没有实质意义的峰值运算能力，即使Linpack测试指标也 精品文档(可编输) 值得下载 精品文档(可编输) 值得下载 不应作为设备选型的单一依据，而是充分考虑总体架构的合 理性和资源管理调度等要素，实现一个高效率计算(High Productivity Computing)的平台。在多用户、多应用的使 用场景下，我们不单单要考虑到整体设备的高性能，还需要 考虑到系统在使用过程中，如何通过虚拟化、资源共享，自 动化等手段来协调整个计算平台的计算资源利用，即使物理 分配也允许系统管理员切换用户，提高整体利用率，实现一 个绿色高效的计算环境 计算基础设施选择策略 注重计算节点性能 配备高主频处理器大内存提髙计算处理能力。对于用 户提交只含有一个或少量几个任务且耗时较多的作业，购置 处理器主频尽可能高的机架式服务器加速处理能力，且配置 较大的内存尽可能将进程全部常驻内存以消除Paging及 Swapping节省时间开销，且便于用户动态切换。 减轻I/O “瓶颈”现象，提升计算节点整机性能。对 于频繁访问大批数据的计算任务而言，磁盘存取速度的提升 跟不上处理器速度因工艺及多核技术而性能大幅度提升的 步伐，是制约处理性能的关键因素，提升数据存储设备的 I0PS是其出路，比如选用光纤固态盘。 选择与计算任务相适应的服务器体系结构 对于支持OpenMP自动编译的并行计算作业，或者含 有很多个任务的批作业或者同时提交一大批作业的场合，选 用由众多(8颗及以上)多核处理器构成共享内存的胖节点 SMP架构服务器。利用操作系统的可以将一个批作业或者多 道作业中各个计算任务自动分配到各核创建进程执行的能 力，实现作业级的同时处理或者批作业中不需要进程间通信 和同步的独立任务平行计算。 对于调用已内嵌支持MPI并行机制的一些软件包，实 现并行计算且进程间通信开销不太大的作业，以及利用 MapReduce并行机制搜索引擎、数字媒体服务等互联网应用， 购置采用分布式内存并行架构的刀片式集群或者选择专门 面向高密集计算的融入了刀片技术的新型机架式服务器。经 过实际运行对比，其计算效率比胖节点SMP架构服务器要高。 合理配备存储资源 对于物理分配的计算节点，选用大容量的髙吞吐率硬 盘。因为追求其单机处理性能，用户数据可直接本机存储。 对于虚拟化的计算节点，可选容量较小的髙吞吐率硬 盘。 为增强系统可靠性，对云存储实时备份。 节点互连链路的高速化与灵活性 计算专用互连链路与互联网信息通道共存。计算节点 间及计算节点与存储间配备专用互连链路，与互联网隔离； 多网卡技术，冗余链路增加吞吐率以及某些应用的互联网