单容错网络存储编码并行算法研究.pdfVIP

郭建 奇 ：单容错 刚络存储 编码并行算法研 冤 在并行／分布式环境中，MPI组通信一般实现3个 为一个较大值buf—size到缓冲区YW—buf，供多个条纹 功能：数据通信、同步和计算。数据通信主要完成组内 的编码计算，从而提高了I／O性能。各节点将rw—buf 进程间的数据传输；同步功能是实现组内所有进程在 中的数据发送到根节点。rw—buf中包含 s(s=buf— size／stripe unit 特定地点在执行进度上取得一致 ；计算功能要对给定 — — size)个条纹单元，因此，根节点中对 s 的数据完成指定的运算 ，通常用于从局部结果计算出 个条纹进行 RAID5编码运算，再将校验结果发送到各 全局结果，如图2所示。从效果上，可认为MPI组通信 条纹相应的校验节点 J。 的计算功能通过 3步实现：首先是通信功能，即消息根 据要求发送至 目的进程，目的进程再接收到各 自所需 的消息；然后是对消息的处理，即计算部分，MPI组通 一 信中有计算功能的调用都有指定的计算操作，用给定 的计算操作对接收到的消息进行处理；最后一步就是 将处理的结果放入指定的接收缓冲区。 结果存入 、 接收缓冲区 组内消息通信 esult一recvbuf 图2 MPI组通信的计算功能 2 RAID5编码并行算法 图3 集中式RAID5编码算法 针对 RAID5网络磁盘阵列的初始化 同步操作 ，提 通过算法可看 出，这种集 中式算法的瓶颈主要集 出了集中式算法与优化的分布式算法。所谓集中式， 中在根节点，而其他节点大多时间却处于空闲状态，负 就是 由一个 Root节点接收各节点发来的数据进行编 载不均衡。 码运算，再把编码结果的校验数据发送给该条纹的校 2．2 基于多对一归约的并行编码 验盘，此算法可容易地嵌入到已有 RAID软件 中，实现 可看到，当节点 (磁盘)数增多时，ROOT节点成为 网络磁盘阵列的初始化功能，但显然 Root节点在系统 集中式编码算法的性能瓶颈。考察编码 (解码)过程， 规模较大的情况下会成为性能瓶颈；而分布式算法则 可看到所有节点均参与其中，与组通信模式相似。因 是将编码运算分布到多个节点中的处理方式，并无 此，本文提出将编码／解码过程嵌入到组通信之中，设 Root节点控制整个编码过程，所有节点处于平等地位 计基于高效组通信算法的并行编码／解码算法，来提高 协同完成编码计算。 编码／解码操作的效率。对于 RAID5编码过程，恰与 2．1 集 中式奇偶校验编码 多对一归约(All—to—onereduction)过程吻合，因此设 令一个节点作为根节点(Root)，在实际网络存储 计基于多对一归约的并行编码算法，其基本思想是：取 系统中，此节点通常是运行磁盘阵列软件的节点。假 消根节点，各节点地位平等，在各 自读 出磁盘数据之 定0号节点为根节点，算法可改为适合任意节点为根 后，通过多对一归约操作，实现编码运算；归约的目的 节点的情况。则编码过程为：其他节点各 自读取 自己 进程即为条纹的校验节点进程，该进程负责将这一条 磁盘中的数据，发送到根节点；根节点负责接收数据， 纹的校验数据写人磁盘_9J。每次归约的数据为一个 并进行 RAID5编码运算；然后将运算出的校验结果数 RAID