基于MPI的树状Web服务器.docVIP

基于MPI的树状Web服务器 黄松林1 向 令1 王 鹏2,1 (1.成都信息工程学院并行计算实验室 四川,成都 610225; 2. 电子科技大学 四川 成都 610054） 摘 要：本文提出了基于MPI和内容分层的树状式Web请求调度服务器模型。该模型采用树状Web服务器架构，所有服务器节点均作为调度器(最后层除外)和数据服务器。根据各节点预设的计量标尺判断当前调度负载或数据服务是否过量，并将超量工作转移至下层最轻调度负载节点，和按文件并行读取方式于下层所有节点协同提供数据服务。实现了服务器负载的自动均衡和系统的可扩展性。 关 键 词：树状Web服务器；调度标尺；并行文件I/O；基于内容；MPI 中图法分类号: TP393 文献标识码: A Tree-Structure Web Server Clusters Based on MPI HUANG Song-lin1 XIANG Ling1 WANG Peng2, 1 (1.Parallel Computing Laboratory, Chengdu University of Information Technology, Sichuan, Chengdu, 610225; 2. University of Electronic Science and Technology of China, Sichuan, Chengdu, 610054) Abstract：Adetermine the load of the node. If the node overloads the work is distributed to its child nodes which is underload. Parellel file I/O method of MPI is used in this process. This model is scalable and realizes the auto load balance . Key Words：ree-Structure Web Server Clusters; Scheduling Scale；Parallel File I/O；Content-Based ; MPI 1． 引 言 随着网络技术的发展和普及，人们对网络及性能的要求越来越高。许多研究者对如何实现Web服务器机群自动负载均衡进行了大量的研究，但将Web负载均衡技术应用于较大型的文档的研究还不多见。传统基于内容的Web请求调度[1-4]带来的额外开销成为系统的瓶颈限制了其规模，内容分布式请求调度[5]要求服务器节点具有很高的性能。为了实现在低成本下高效完成网络服务、降低单个Web请求的时间、增加Web文档规模、提高系统吞吐量及扩展性等目标，本文引入了基于MPI和内容分层的树状式Web服务器模型，利用多层树状结构将繁重的Web请求/响应分而治之。通过对网络负载的树状均衡，能够大幅度提升网络服务性能。 2．MPI及其相关技术 MPI (Message Passing Interface) [6]是由MPI论坛开发的一个非专利且独立于平台的消息传递函数库的与语言无关的标准规范，而不特指某一具体实现。MPI是目前最重要的并行编程工具，它具有移植性好、功能强大、效率高等优点，而且有多种不同的实现版本，几乎所有的并行计算机厂商都提供对它的支持，这是其他并行编程环境所无法比拟的。MPI不仅提供了多种通讯模式，其打/解包收发不连续数据功能有效的减少了通讯次数；他的扩充版本MPI-2MPI的树状内容分层式Web服务器模型 3.1 树状Web服务器拓扑结构 服务器节点呈树状结构分布排列。如图1所示，系统由多层树状分布式的服务器组成，每层由多个节点构成，其形成的小型网络均是上一层的子网，且该网络中的所有节点皆是下层的父节点。并未规定父节点数目绝对少于子节点数目。层数和各层节点数均可扩展，增加层内节点数目或服务树深度即可提升系统处理大批量请求的能力。 图1. 基于MPI的多层内容分布式Web服务器负载均衡模型 【注：1，接收用户请求。2，分析消息中包含的文档大小，文件并行I/O。 3，本地数据服务。4，MPI消息传递。5，响应客户请求。】 由于调度服务器可能在下层搜寻负载最轻的调度节点和进行并行I/O操作，为降低该节点的工作强度，同层节点数目不宜过多。当然，服务树具体的规模应以实际需求和单个服务器性能而定。 3.2 树状Web服务器的调度策略 所有节点既是数据服务器，除末层外又作为调度服务器。凡调度器均预设有请求队列和服务队列，分别用于缓存需在本地进行调度服务的请求，和需在本地进行数据服务的文档。所有队列内的调度或数据服务均在本地进行，溢出部分