遥感科学中高性能计算.pptVIP

目录 遥感科学计算的背景 遥感科学并行计算的创新 通用总体架构 设计思路 遥感并行中间件介绍  遇愿科学计算的肯景 需求迫切,但成熟系统较少 1.目前国内外基本上没有成熟知名的遥感并行处理系统,大多 数遥感处理系统存在于桌面级应用软件。 2.遥感数据量巨大,并行系统总是在性能上受制于|O和网速, 无法大规模地实现。 例如:一组1GB大小的遥感数据需要用5分钟从本地磁盘读入内存, 台电脑的CPU并行处理这组数据1分钟即可完成,但还要花大约6 分钟的时间把处理过的数据保存进本地磁盘。由此可见,并行处理 对时间的影响不明显。系统瓶颈存在与|O与网速方面。  遇愿科学计算的肖景 大规模的资源利用是需解决的问题 1.|O瓶颈使系统的大量时间花费在数据读↓ 取与写入阶段 2.网络带宽小,无法迅速传输海量遥感数据 3.CPU占用率低,导致系统资源浪费  遇感科学并行计算的创新 采用Map/ Reduce的实现思路的同时,将新的基于 IP6/P4的组播通信技术融入其中,大量减少数据传输时 采用内存共享及数据预读取技术,让一台计算机内部多CPU 或者多核的计算单元在进程之间直接共享预读取数据,大量 减少磁盘I○读取操作,对于处理大量遥感数据来说,性能提 升非常明显 超越MP的网络带宽合并技术,针对每块网卡实现物理负载 均衡,让拥有多块网卡的计算机实现N千兆的网络传输效果, 让计算更加高效,群集规模更大。  遇感科学并行计算的创新 节点运维故障控制技术,让计算节点死机或者网络断线的情况下 仍然能够顺利完成并行任务,让遥感并行计算享受到金融系统的 运行保障待遇。 计算节点无值守,采用统—升级、统一服务控制,让操作人员无 需一个节点一个节点进行设置。 二次开发既非常专业,又很简单。底层提供完整的面向对象式的 GIS数据运算和操作对象接口以及遥感数据运算访问对象接口。接 口开发支持C/C++及 Fortran 为CUDA技术预留接口,让CPU和GPU都转起来的系统成为可能。 采用C/C++开发,整体系统非常注重整体并行的效率,任务分解 开销非常小,利用最简单的算法进行并行都可以取得非常高的效 率  设计思路总体架构 标准三层架构,即数据层—业务层一界面层。进一步分解为7大模块,如下 图所示,分别为 Disk I/ O Service磁盘1O服务] NetWork High Speed Memory Cache Servicel网络高速内存缓存服务 Single Calculation Cell计算单体] Task Assemble Manager任务分配管理器] Command Input/ Output UI[命令输入输出交互二c U命令输 Auto Servo UIl自动伺服器] Sef- Listen Service自检服务 M9e[务分谷理器  计思路住分解模 算法分解通用模式 任务 子任务 子任务 子任务 阶段二 任务 任务 子任务 子任务 尔 阶段三 任务 任务  设计思路忘体流程 总体处理流程 组播发送输入 数据 计算并回传结果 分解任务并进 网络 行计算 计算并回传结果 整理结果输出 十算并回传结果  设计思路-并行流程 数提信息读取 压 结果压 回欢招  设计思路简化的并行流程 并行中的计算 并行前操作 并行后处理