基于并行文件的分层Web服务器群.docVIP

基于并行文件的分层Web服务器群 王燮1 王 鹏2,1 向 令1 黄松林1 (1.成都信息工程学院并行计算实验室 四川,成都 610225; 2. 电子科技大学 四川 成都 610054） 摘 要：构建了并行文件Web服务器机群。该机群采用分层结构，每层节点均作为调度器(最后层除外)和数据服务器。各层节点对外提供数据服务，并根据预设的计量标尺判断数据服务是否过量，并将过量工作转移至下层节点。建立了基于ajax和vml技术的监控服务器，对所有节点性能进行实时监控。 关 键 词：分层Web服务器；计量标尺；并行文件I/O；MPI 中图法分类号: TP393 文献标识码: A 随着Web2.0的兴起和传统Web的不断发展，各企业以及个人对Web服务器的性能要求越来越高。目前Web服务器大都采用昂贵的专用服务器，如浪潮NL380D。现有的Web服务器机群中，只是对数据服务进行了简单的平衡。这两种传统的Web服务，其Web请求调度带来的额外开销成了它们的瓶颈，限制其规模的扩大。为了实现低成本下为客户提供高效的Web服务这一目标，本文提出基于并行文件和分层拓扑的Web服务器模型，利用多层结构对繁重的Web请求/响应分而治之。通过对各节点的负载均衡，大幅提高了Web服务的性能。同时对所有节点进行实时监控，实现对各节点更有效的管理。 1．并行相关技术及并行文件I/O 高性能计算技术大多采用并行技术，现有的并行技术中以MPI最为流行。MPI(Message Passing Interface)是目前最重要的一个基于消息传递并行编程工具，它具有移植性好，功能强大，效率高等许多优点，而且有多种不同的免费，高效，实用的实现版本，几乎所有的并行计算机厂商都提供对它的支持，成为了事实上的并行编程标准。MPI-2提供并行文件I/O ，能够方便的实现文件的并行读写。基于这些原因，本文选用了MPI-2作为服务端系统的开发平台。 2. 基于并行文件分层式Web服务器模型 2.1 Web服务器拓扑结构 图1. 基于并行文件的多层Web服务器负载均衡模型 【注：1，接收用户请求。2，分析消息中包含的文档大小，并行文件I/O。 3，溢出数据传至下层节点。4，响应客户请求。】 服务器节点采用分层结构。如图1所示，系统由多层分布式的服务器组成，每层由多个节点构成(除根节点外)，上层节点是下层所有节点的父节点,下层节点有多个父节点,每层节点数目根据实际需要决定。层数和各层节点数均可扩展，增加层内节点数目或服务深度即可提升系统处理大批量请求的能力。 由于调度服务器可能在下层搜寻负载最轻的调度节点和进行并行I/O操作，为降低该节点的工作强度，同层节点数目不宜过多。当然，其规模应以实际需求和单个服务器性能而定。 2.2 分层Web服务器的调度策略 所有节点既是数据服务器，除末层外又作为调度服务器。凡调度服务器均预设有计量标尺，用于判断当前节点的数据服务是否过量。节点的调度或数据服务均在本地进行，过量数据部分则传递至下层作相应处理。根节点至末层节点, 计量标尺值则呈递增趋势（同层间各标尺值应相同），使得各节点总的工作量趋于一致，负载更加均衡。 为实现服务器在繁忙状态也能及时响应所有请求的这一目标，我们采用了计量标尺式调度策略。每次调度时调度服务器需要完成四项工作：①分析用户请求所要求返回用户浏览器的所有文档的大小，并将数据返回给用户；②计算当前溢出的数据文档大小相对下层服务器节点数的平均值；③以②中得到的平均值为标准对溢出服务队列的文档作并行I/O处理，并采用不连续数据发送方式进行消息传递；④调度转移，同时准备接收父节点新发来的消息。以上四步中，②③步必须在服务队列有溢出才执行。服务器与浏览器之间约定文档的类型需在其头部进行描述，在进行文档并行I/O时，各子文档头部同样需要做类似标记，便于事后数据的整合。 通过调度服务器基于内容发起的调度，所有子层节点协同响应，且各节点需要处理的累计文档大小相同。建议服务队列的存储采取小文档优先原则，这样既能减轻消息传递的通讯量，还有利于可能出现的文件的递归式并行I/O。 2.3 分层Web服务器的MPI实现 本文提出的分层式Web服务器模型是建立在并行文件I/O和MPI的消息传递机制基础之上的。 并行文件I/O是并行计算中最复杂的一种并行计算方式，最基本的并行I/O操作，包括指定显式偏移的并行文件读写，使用独立文件指针的并行文件读写和共享文件读写三种主要类型。MPI-2提出了一套并行I/O的标准接口，明确了对文件的各种并行操作和管理方法，所有子节点的进程可以用其提供的方法来对单一文件进行访问。例如MPI_FILE_OPEN是一个组调用（即通信域中的所有进程都必须按给定的文件名来执行它，各个进程使用的文件名要相同，给定的