王光谦-数字流域模型构建20140226.pptVIP

数字流域模型的集群计算与并行算法 王光谦 李铁键 刘家宏 汇报内容 数字流域模型的计算需求 河网编码方法 并行计算的任务调度流程与分配算法 并行计算的实现 数字流域模型的计算需求 河网的编码方法 并行计算平台的选择 任务调度流程 任务分配算法 2. 河网编码方法 将超一维的河网抽象为二叉树 直接定位能力: 第n层的起始编码为2n-1 节点k的子节点编号为2k和2k+1 与河网的对应关系： 节点k—河段 节点2k—上游干流河段 节点2k+1—上游支流 3. 并行计算的任务调度流程与分配算法 分级分区河网的处理： 按子流域级别由高至低、支流由上游至下游的顺序排列各河网树 计算任务搜索在整个森林中进行 每株树中允许生成多个计算任务（子树） 将待算子树的河段编码按上下游顺序展平到数组中，作为计算任务包发送到空闲的计算节点 计算节点运行专业模型，依次计算任务包中的各河段 4. 并行计算的实现 适应性强 河网：形状、规模 集群：性能不对等 并行效率很高 集群规模和总性能受限于数据库 数据库系统能承受的并发量 分布数据库的发展方向 谢 谢 ! 数据库访问总串行时间 空闲总串行时间 通讯时间 并行度 并行效率 * * 报告人：李铁键 水沙科学与水利水电工程国家重点实验室 数字流域模型的框架 瓦窑堡 每个坡面-沟道单元的机理型水沙模型 数以万计的单元组成流域 河网成为模型计算的承载者 水沙演进的上下游依赖使计算必须遵从一定的顺序不同子流域的不相关性又使并行计算成为可能 需要解决的问题 用数组表示的完全二叉树 二叉树的二元编码 显式的层数代表河段距流域出口的距离 层内编号代表河段距干流的距离（指数变化） 保留了直接定位能力 节省序号数字 现实河网不是完全二叉树，而是偏向干流一侧的满二叉树： 基于二进制字符串的编码生成方法 将层数定义为编码的长度分量 将层内编号定义为编码的取值分量 (2,0) (2,1) (3,0) (3,1) (4,3) (4,2) (5,2) (5,3) (1,0) (5,0) (5,1) (4,1) (4,0) 大流域的分级分区编码 树-森林 任务调度流程 主从模式 数据库集中存储 动态任务单元 可控并行粒度 可适应计算节点的性能差异 任务分配算法 待算子树的生成 设定期望子树规模[Min, Max] 设定各河段的计算状态为F指针指向流域出口 指针沿干流向上游方向游走至河段以上子树规模Max 子树规模Min计算状态为F 由指针位置拆分出待算子树将指针位置至流域出口河段的计算状态置为T,程序返回 指针定位至当前河段的下游河段的支流 存在此河段？ 结束此次调用 Y N Y N 按先干流后支流的顺序 搜索符合要求的子树 通过 设定计算状态标志 以遵从 上下游依赖关系 并行粒度(子树规模)控制 子树规模越小, 计算过程中的数据交换量越大 子树规模越大, 计算过程中的并行度下降得越快 需要控制并行粒度先粗后细，动态变化 参与计算的进程随剩余河网并行度的降低而减少 动态最优并行粒度: 时间收益算法 收入 支出 减少的时间 Tbenif=Tc(n)/p 增加的时间 Tlost=Max{TD·[1-T(p)/T(p+1)],T0(n)} p : 当前进程数 n: 子树规模 TD: 相应子树的串行数据访问时间 TC: 相应子树的串行模型计算时间 时间收益：分配一个计算任务包给空闲进程(相对于不分配) 所能获得的并行时间的减少量。 时间收益算法 并行效率随集群规模的增大而降低存在一个集群规模的上限 特定粒度下的进程数上限 特定进程数下的可用粒度 特定进程数下存在一个可用粒度范围进程数过多将不存在优化的任务分配 进程数与并行粒度互动的任务分配过程 PC组成的网络集群 Windows MPI_Control MPICH C++ Windows API TDWM_MPI_exe DB 软件运行平台 MPI_Control 图形显示区： 进度、CPU利用率 集群显示与选择区： 计算机、进程 消息滚动区 运行控制与参数设置 运行报告 运行情况总结 *