基于分布式的资源检索系统设计与实现(山东财政学院)..doc

基于分布式的资源检索系统设计与实现 刘杰君，梅炀，李超，廉翠翠，吴俊 （山东财政学院，济南，250014） 摘要：本系统是建立在j2ee三层架构之上的网络资源检索系统，以XML为数据库，在分布式的条件下，检索出用户需要的信息。本系统对分布式结构做了优化，提出了一种新的分布式结构：选举注册发布。同时融合大赛提出的结构以及进程选举，p2p，路由算法等方案的提出的一种分布式结构；对XML进行了优化预处理，制作成倒排索引表；检索过程更加智能化，人性化；采用流媒体技术，开发出一套独立的流媒体转换处理播放系统,使播放效果更加流畅；采用中文分词，并支持全文检索，使搜索结果更加符合用户的需要； 提供多种综合查询方式，方便用户的查找；开发出一套TaoJin开发引擎；增加日志管理功能；对office以及pdf等主流文档类型进行预览；采用AJAX异步传输技术，实时提醒用户；同时采用Webservices和Socket针对不同平台提供查询、选举接口；针对每一个模块，每一个功能都提出多套解决方案，可以适应不同的复杂的环境；针对用户的行为进行分析，使查询结果更加符合用户的需要；提供了众多的方便用户的功能，开发出淘尽IE工具条等一系列实用工具。 关键字：网上掏宝；分布式；搜索引擎；选举；资源检索；Webservices；Socket；流媒体。、1程序的主要模块 （1）系统启动模块 （2）用户查询模块 （3）显示模块 （4）管理模块 2系统架构与实用技术 （1）采用MVC的三层架构（见下图） 从开发角度和应用角度来看，三层架构比双层或单层结构都有更大的优势。三层结构适合群体开发，每人可以有不同的分工，协同工作使效率倍增。开发双层或单层应用时，每个开发人员都应对系统有较深的理解，能力要求很高，开发三层应用时，则可以结合多方面的人才，只需少数人对系统全面了解，从一定程度降低了开发的难度。三层架构可以更好的支持分布式计算环境。逻辑层的应用程序可以有多个机器上运行，充分利用网络的计算功能。分布式计算的潜力巨大，远比升级CPU有效。也是三层架构的最大优点是它的安全性。用户端只能通过逻辑层来访问数据层，减少了入口点，把很多危险的系统功能都屏蔽了。 （2）使用技术 整个系统的实现是基于j2ee_5的。三层架构是采用Struts 2.0 + jsp 2.0 + servlet + javabean来实现的。系统的框架采用目前最流行的框架Struts 2.0。采用异步传输技术AJAX，实现用户输入的实时提示。中文分词采用lucene-2.3.2和中文分词器IKAnalyzer V2.0.2。对XML的解析处理采用dom4j-1.6.1。增加日志功能，记录系统运行情况以及遇到的问题log4j。定期触发事件，可以重新索引，采用quartz技术。 Webservices技术采用xfire-1.2.6，提供选举和查询的功能。为了提高查询效率，特别提供socket技术接口，大大提高了查询的效率。采用poi技术实现对office的预览功能。采用jacob，作为对poi技术的补充，解决部分特殊格式的问题。流媒体服务器端采用ffmpeg + mencoder + FMS，实现流媒体服务器端。流媒体客户端采用actionScript 3.0和流媒体服务器端的实时通信。 3各技术详细说明 （1）选举、注册、注销技术 本系统对分布式结构做了优化，提出了一种新的分布式结构：选举注册发布。同时融合大赛提出的结构以及进程选举，p2p，路由算法等方案的提出的一种分布式结构； 先说说“正常”情况下的执行过程： 默认主服务器启动。然后其余服务器启动，到主服务器上面去注册，主服务器告诉该服务器当前已经注册的主机信息，然后主服务器通知已经注册的主机又有一台新的主机加入了。主机注销：主机注销时，通知主服务器本主机注销，然后主服务器通知其余主机该主机注销。即实现了资源服务器动态的加入和退出。当检索资源的时候，如果发现有资源服务器当掉了，则将其注册信息删除。 下面是选举的执行过程： 当一台“注册”或者“注销”或“查询”的主机发现主服务器当机的时候，开始选举过程。发现主服务器当机的服务器开始向“优先级”最高的服务器发出消息，如果不响应，则依次发到比自己都高的服务器，如果都没有响应则表明自己是主服务器，然后向其它服务器发送自己是主服务器的消息；如果有响应则响应者是主服务器，响应者发送消息说自己是主服务器。 综合服务器当机可能出现的各种情况，我们分别对各自的选举过程进行了处理： 1.最简