网上淘宝梦想开团队技术论文.docVIP

◆ 网上淘宝梦想开发团队技术论文 刘维钰，刘玉，李腾，逄正正，任瑞德 1.引言 目前，网络上存在大量的资源共享服务器。这些服务器一般存储了一定量的资源，并以web服务的方式供用户和其它服务器访问。现存的问题在于不同服务器的资源组织方式往往不同，有的是通过数据库，有的是通过一些描述文件（如XML），而且数据库的种类和结构也有很大的差别，这就导致不同服务器之间资源共享和资源发现都十分困难。因此，用户如果想访问这些资源，就要登陆每一个服务器去检索和下载需要的资源。由于服务器的分布广泛，数量众多，用户显然难以检索到自己需要的资源。而分布式的资源检索策略则可以有效的解决这一问题。该策略的思想是当用户登陆任何一台服务器的时候，这个服务器除了要检索自己本地的资源以外，还可以作为一个客户端，自动地去连接其它服务器，发出检索请求，并将检索的结果进行合并和汇总，返回给用户。这样，用户只需要登陆任意一台服务器，就可以检索到大量所需资源。 本文针对上述问题，详细介绍了梦想网络资源检索系统的实现方式与关键技术。 2.系统架构 系统采用MVC的三层架构，三层架构主要有如下优点： 1.能有效降低建设和维护成本，简化管理 2.适应大规模和复杂的应用需求 3.可适应不断的变化和新的业务需求 4.访问异构数据库 5.能有效提高系统并发处理能力 6.能有效提高系统安全性 系统采用三层架构，如下图所示： 系统三层架构 2.1.系统流程分析 本系统的应用流程如下：首先由主服务器开启服务，然后其它服务器向这台主服务器注册加入到服务网络中。若主服务器未开启服务或在服务过程中正常或异常退出，则由在线服务器通过我们提供的选举算法选出一台优先级最高的服务器作为主服务器并向主服务器注册信息。每一台第一次使用本系统的服务器都需要对自己本机资源建立索引，建立方法很简单，只要双击我们提供的一个服务程序，此程序即可通过lucene对本机资源建立倒排文件索引库。客户端（也就是服务器）加入到服务网络后，即可通过RMI提供的服务对资源进行分布式检索。系统在检索中提供了AJAX异步数据传输功能，使用户可以快速地得到自己查询信息的数据量，提供了检索过滤、检索扩展、高级检索、高亮显示、结果中检索等功能，对检索出的结果提供了预览和下载功能。各台服务器可以通过系统提供的后台对服务器进行各种管理。 2.2.系统主要模块 2.3.系统整体架构 为了保证系统的各个模块能够协调工作以达到系统整体功能的最优实现，在梦想网络资源检索系统在构建与开发过程中，运用软件工程的理论和方法进行统一指导。梦想网络资源检索系统的整体架构如下图所示： 图3　系统整体架构 （1）梦想网络资源检索系统：主要接收用户的请求信息，通过RMI远程服务接口进行分布式检索，调用远程方法进行信息查询，并将检索结果进行相应的处理（如排序、高亮处理等），最终将结果返回给用户。 （2）客户端：使用各种服务，提交服务请求。 （3）XML数据库与lucene索引库：首次使用系统时，由管理员通过XML数据库和资源文件建立lucene索引库。XML数据库和资源文件由服务器提供，lucene索引库由管理员维护与更新。 3.关键技术的设计与实现 3.1.系统中所使用的主要技术 1.本系统中基于J2EE三层架构的，通过struts2.0+jsp+javabean实现。 2.通过RMI和组播实现服务器之间的通信。 3.通过lucene2.4对资源建立全文索引，以实现对资源更加全面的检索。 4.使用IKAnalyzer3.1进行中文分词。 5.使用dom4j-1.6.1对XML文档进行解析。 6.通过AJAX异步数据传输技术实时提供用户检索的信息提示。 7.通过poi-3.0.1对office文档进行提取、预览。 8.通过ffmpeg + mencoder + FMS，实现流媒体服务器端。 9.通过MD5对用户信息进行加密处理，保证信息安全性。 3.2.系统中所使用的关键技术的具体实现 3.2.1.选举、注册、注销功能 我们提供的服务主要用于当主服务器正常或异常退出时进行选举，选举出新的主服务器;当有新服务器加入时进行新服务器的注册;当服务器正常或异常退出时进行注销。 在这一个服务模块我们提供的主要功能如下： 1）选举模块 我们的选举模块应用于以下情形： a. 当主服务器正常退出时，进行选举。当主服务器退出时，它会通知其它服务器它要退出服务网络，由其它服务器通过选举算法选出一台优先级最高的服务器担当主服务器继续提供相关服务。 b. 当有新的服务器加入时，发现默认主服务器异常退出，但是此时还没有新的主服务器，则进行选举。 c. 当有服务器进行资源检索时，发现主服务器异常退出，则进行选举。 d. 当有服务器正常退出时，发现主服务器异常退出，则进行选举。 以