基于MPI 并行文件传输服务器群.docVIP

基于MPI的并行文件传输服务器群 黄松林1 王 鹏1, 2 严伟才1 李裕森1 聂 治3 成都信息工程学院并行计算实验室 四川 成都 610225；2. 电子科技大学 四川 成都 610054；3.成都理工大学 四川 成都 610059) 摘 要：本文运用MPI、COM/ActiveX和面向缓存等技术设计并实现了文件并行传输理论的新模型，将传统的最小负载均衡调度单位缩小至低于单文档大小，并将命令处理和数据服务相分离。文中给出了系统拓扑图、命令处理流程图和核心模块的设计原理图。实际测试结果表明，该系统增强了处理并发请求的能力和带宽，大大提高了数据传输速率，证明了这一设计方案的可行性和有效性。 关键词：并行文件传输协议；MPI；并行文件I/O；集群监控 中图分类号：TP393 文献标识码：A Tree-Structure Web Server Clusters Based on MPI Huang Songlin1 Wang Peng1, 2 Yan Weicai1 Li Yusen1 Nie Zhi3 (1.Parallel Computing Laboratory, Chengdu University of Information Technology, Sichuan, Chengdu, 610225; 2. University of Electronic Science and Technology of China, Sichuan, Chengdu, 610054; 3. Chengdu University of Technology, Sichuan Chengdu 610059) Abstract： This paper discusses a new model of paralleled transfer theory of files in detail with technology of MPI﹑COM/ActiveX and caching-oriented,which effectively reduce to single document for traditional least load balance scheduling units.System topology graph、the deal flow charts of command and the diagram of central module are described in the same time.The circulation result shows:this system enhances the ability of parallel query and increases the data transfer velocity, moreover, validates the feasibility of this model. Key Words：PFTP ; MPI; Paralleled File I/O; Cluste Monitor. 引言 随着网络技术的发展和普及，人们对FTP传输的速度与稳定性要求越来越高。从结构上讲，FTP属于客户/服务器结构，是一种简单的多对一结构，即多台客户机向一台服务器发出请求，此服务器对各个客户机分时作出应答。随着并行FTP用户的增加, 服务器的网络传输效率会显著下降, 表现为：数据传输速度不稳定，服务器对请求响应迟缓，甚至拒绝应答,传统的解决方法是限制客户的连接数。本文将并行计算理论应用到传统的FTP系统中，通过增加服务器结点的数量来增加带宽和同时访问连接数，并对这些服务器结点进行集中控制和管理，以确保整个系统中对用户是透明的，多台服务器节点并行地传输同一个文件的不同块，因而既增大了系统带宽又提高了文件传输速度。基于这种思想的并行文件传输服务器群，可以有效地解决现有FTP系统存在问题[1-5]。 MPI及相关技术 MPI (Message Passing Interface) 是由MPI论坛开发的一个非专利且独立于平台的消息传递函数库的与语言无关的标准规范，而不特指某一具体实现[6]。MPI是目前最重要的并行编程工具，它具有移植性好、功能强大、效率高等优点，而且有多种不同的实现版本，几乎所有的并行计算机厂商都提供对它的支持，这是其他并行编程环境所无法比拟的。MPI不仅提供了多种通讯模式，其打/解包收发不连续数据功能有效的减少了通讯次数；他的扩充版本MPI-2提供文件并行I/O ，能够方便的实现文件的并行读写。基于这些原因，本文选用了MPI作为服务端系统的开发平台。 基于MPI的并行文件传输服务器群模型 3.1 并行服务器群的