基于超算云的高性能计算服务化平台(1).pptx

基于超算云的高性能计算服务化平台

湖南大学国家超级计算长沙中心

1、背景和挑战

2、高性能计算服务化关键技术

3、超算云服务平台及整体架构

背景：高性能计算服务化是面向业务需求领域的全流程服务化

数学模型

2

实际问题

1

求解器

3

计算结果

并行计算

任务调度

算法

分解

提炼

混动车型

电动车

4

微卡

SUV

MPV

前后处理模块

冲压成形仿真

体积成形仿真

结构力学分析仿真

热力学分析仿真

裂纹扩张仿真

工程优化工具箱

材料数据库

天河物理节点

openstack

SOUDSOFTWAME

SAAS

docker

Functions

Application

Runtime

OperationSystemVirtualizationContainer

基础数学函数库(高性能计算算子)

归并N体波尔兹曼磁快速傅里叶稀疏矩阵

比对方法流体力学变换向量乘

背景：高性能计算服务化=高性能计算集群+云原生+函数计算

FAAS

SAAS

PAAS

高性能计算机/超算系统

IAAS

2016.06

神威·太湖之光

每秒12.5亿亿次

申威26010

片上主处理器(1个)和协处理器(64个)

内存共享

2020.6

日本富岳

每秒42亿亿次

ARM

A64FX处理器

48计算核心4协处理核心

2013.06

天河二号

每秒5.49亿亿次

CPU+MIC

2018.6

美国顶点

每秒20亿亿次

Power+GPU

2021

天河三号

每秒百亿亿次

飞腾+迈创

涉及数据的

实际特征较少

模型和数据自适应/并行难

缺乏适应超算

异构并行的机

器学习算法库

感知差

自适应低

算力浪费

需解决的问题1

Serverless:数据和应用感知的任务调度与资源分配

需解决的问题2

云原生：构建高效的分布式机器学习环境

需解决的问题3

函数计算：融合高性能计算与机器学习算子

高效能数据并行处理与智能分析系统

如何基于现有主流超算系统的系统结构

构建高性能计算云服务基础设施，解决HPCfor大数据与AI计算的难题

智能应用场景、AI计算特性为高性能计算服务化提出了更高要求

挑战：传统超算在操作使用上难以原生适应高效的计算服务化，

超算调度系统超算算法库

1、背景和挑战

2、高性能计算服务化关键技术

3、超算云服务平台及整体架构

Serverless≠FaaS

Serverless=FaaS+BaaSBaaS=DC+DaaS

构建数据和应用感知的分布式计算和数据处理环境

Hadoop中的时空任务调度

数据偏斜

Spark中的SKRSP

Spark中的Shuffle过程均衡调度

自适应数据流中间分区方法

基于二分图建模的

最优本地性感知任

务调度算法

Serverless:数据和应用感知的任务调度与资源分配

基于动态内存感知的任务调度算法

改进的推测执行策略

优化总通信距离的Executor分配方法

环境感知任务调度

其它任务调度

计算框架

Splitn

Split:2

DataNode1

Split2t

Splitz

DataNode2

Split

Splita

DataNode3

HDFS

Data

Block

Data

Block

Data

Block

Reservoir

ReducePlaceme

nt

Pa

MapPhase

SamplingJob

map-out

物Dhsraol

分片0

分片1

分片m-1

执行shuffle-op

的RDD

分片0

采样任务1

分片1

4

采样任务m1

分片m-1

Map任务0

分片0

Map任务1

分片1

Map任务m-1

分片m-1

采样数据

基于Hash的Key分配策略

否

KRHP

是否

排序?KSRP

是带权重的key

分片边界数组

④分片策略应用

Reduce任务0Reduce分片0

Reduce任务1Reduce分片1

Reduce任务m-1Reduce分片m-1

map-out

map-out

Intermediat

edata

Monitors

DataDispatchin

gMatrix

和缝除新体

Task

Placement

Cost

Matrix

提出面向Hadoop架构的