分布式并行信息检索系统的设计与实现-基础教育资源搜索引擎个案研究.pdfVIP

《现代图书情报技术》　２００７年　第８期 应用实践 　　总第１５４期  分布式并行信息检索系统的设计与实现 　　———基础教育资源搜索引擎个案研究 田俊华　杨晓江 （南京师范大学教育科学学院　南京２１００９７） 　　【摘要】　在大规模信息检索领域，随着高速网络技术的迅速发展，分布式并行信息检索技术由于其高效性 与经济性而受到越来越多的重视。结合基础教育资源搜索引擎的设计开发，讨论分布式并行信息检索系统中 涉及的数据分布、查询任务分解及节点冗余等关键技术。 　　【关键词】　分布式并行处理　信息检索　轮转分配算法　　【分类号】　ＴＰ３９１．３ ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｆｏｒＤｉｓｔｒｉｂｕｔｅｄＰａｒａｌｌｅｌＩＲＳｙｓｔｅｍｓ 　　　———ＡＣａｓｅｏｆＢａｓｉｃＥｄｕｃａｔｉｏｎａｌＲｅｓｏｕｒｃｅｓＳｅａｒｃｈＥｎｇｉｎｅ ＴｉａｎＪｕｎｈｕａ　ＹａｎｇＸｉａｏｊｉａｎｇ （ＳｃｈｏｏｌｏｆＥｄｕｃａｔｉｏｎＳｃｉｅｎｃｅ，ＮａｎｊｉｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９７，Ｃｈｉｎａ） 　　【Ａｂｓｔｒａｃｔ】　Ｉｎｔｈｅｆｉｅｌｄｏｆｌａｒｇｅ－ｓｃａｌｅｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ，ｄｉｓｔｒｉｂｕｔｅｄｐａｒａｌｌｅｌＩＲｔｅｃｈｎｏｌｏｇｙｉｓａｔｔｒａｃｔｉｎｇｍｏｒｅ ａｎｄｍｏｒｅｐｅｏｐｌｅ’ｓａｔｔｅｎｔｉｏｎｄｕｅｔｏｉｔｓｈｉｇｈｅｆｆｉｃｉｅｎｃｙａｎｄｌｏｗｃｏｓｔａｓｔｈｅｒｅｓｕｌｔｏｆｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｈｉｇｈ－ｓｐｅｅｄ ｎｅｔｗｏｒｋｔｅｃｈｎｏｌｏｇｙ．ＢａｓｅｄｏｎｔｈｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＢＥＲＳＥ，ｔｈｅｐａｐｅｒｄｉｓｃｕｓｓｅｓｓｏｍｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｆｏｒ ｐａｒａｌｌｅｌＩＲｓｙｓｔｅｍｓ，ｓｕｃｈａｓｄａｔａｄｉｓｔｒｉｂｕｔｉｎｇ，ｑｕｅｒｙｄｉｓａｓｓｅｍｂｌｉｎｇ，ａｎｄｎｏｄｅｓｐａｒｉｎｇ． 　　【Ｋｅｙｗｏｒｄｓ】　Ｄｉｓｔｒｉｂｕｔｅｄｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ　Ｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ　Ｒｏｕｎｄ－ｒｏｂｉｎａｌｇｏｒｉｔｈｍ 　　随着社会信息化程度的不断提高，很多系统面临从 地增加系统成本，笔者选择了基于低端服务器或ＰＣ机群 大规模数据集中快速检索信息的需求。传统的基于单机 ［３］ 的分布式并行信息检索系统设计方案 。 的集中式信息检索技术已无法满足这种以大规模数据集 　　分布式并行信息检索系统是分布式并行计算技术在 为基础的并发多用户信息检索的需求。利用高速网络环 信息检索领域的应用，是计算机技术与网络通讯技术的 境，开发分布式并行信息检索系统，使多台低端服务器或 有机结合，它将分散的计算机资源统一整合，以发挥集群 ＰＣ机协同工作，共同承担信息检索任务，不失为一种既 优势为目标，实现高速网络环境下的快速信息检索。在 ［１，２］ 经济又高效的解决方案 。本文以基础教育资源搜索 大规模数据检索中，并行处理具有较大的潜力可以挖掘， 引擎（ＢａｓｉｃＥｄｕｃａｔｉｏｎａｌＲｅｓｏｕｒｃｅｓＳｅａｒｃｈＥｎｇｉｎｅ，ＢＥＲＳＥ） 利用分布式系统，可以实现多条查询之间的并行检索以 系统为例，探讨分布式并行信息检索系统的设计与实现 及单条查询内部的并行处理，由此提高整个系统的效 技术。 率［１，２，４］。