基于分布式消息队列的企业级全文检索模型研究.PDFVIP

第３４卷第６期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．６ ２０１７年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１７ 基于分布式消息队列的企业级全文检索模型研究 李　政　武　彤 （贵州大学计算机科学与技术学院　贵州贵阳５５００２５） 摘　要　　针对传统集中式全文检索系统的查询性能不足的问题，提出基于分布式消息队列构建的企业级分布 式全文检索模型。该模型充分利用分布式消息队列将查询集群中的各个节点去耦合，以异步方式对查询请求进 行处理，提高整个集群的查询吞吐量。从该模型的总体结构、分布式全文检索算法过程设计、算法验证三个方面 进行了阐述，验证了该模型的可行性，并且验证结果表明具有良好的查询性能。 关键词　　分布式消息队列　企业级全文检索　分布式全文检索 中图分类号　ＴＰ３１１．１３３．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０６．０５２ ＲＥＳＥＡＲＣＨＯＮＥＮＴＥＲＰＲＩＳＥＦＵＬＬＴＥＸＴＲＥＴＲＩＥＶＡＬＭＯＤＥＬＢＡＳＥＤ ＯＮＤＩＳＴＲＩＢＵＴＥＤＭＥＳＳＡＧＥＱＵＥＵＥ ＬｉＺｈｅｎｇ　ＷｕＴｏｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＧｕｉｚｈｏｕＵｎｉｖｅｒｓｉｔｙ，Ｇｕｉｙａｎｇ５５００２５，Ｇｕｉｚｈｏｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｏｆｉｎｓｕｆｆｉｃｉｅｎｔｑｕｅｒｙｐｅｒｆｏｒｍａｎｃｅｏｆｔｒａｄｉｔｉｏｎａｌｃｅｎｔｒａｌｉｚｅｄｆｕｌｌｔｅｘｔｒｅｔｒｉｅｖａｌｓｙｓｔｅｍ， ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｄｉｓｔｒｉｂｕｔｅｄｅｎｔｅｒｐｒｉｓｅｆｕｌｌｔｅｘｔｒｅｔｒｉｅｖａｌｍｏｄｅｌｂａｓｅｄｏｎｄｉｓｔｒｉｂｕｔｅｄｍｅｓｓａｇｅｑｕｅｕｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ｔｈｅ ｍｏｄｅｌｍａｋｅｓｆｕｌｌｕｓｅｏｆｔｈｅｄｉｓｔｒｉｂｕｔｅｄｍｅｓｓａｇｅｑｕｅｕｅｔｏｃｏｕｐｌｅｅａｃｈｎｏｄｅｉｎｔｈｅｑｕｅｒｙｃｌｕｓｔｅｒｔｏｐｒｏｃｅｓｓｔｈｅｑｕｅｒｙ ｒｅｑｕｅｓｔｉｎａｎａｓｙｎｃｈｒｏｎｏｕｓｗａｙ，ａｎｄｔｏｉｍｐｒｏｖｅｔｈｅｔｈｒｏｕｇｈｐｕｔｏｆｔｈｅｗｈｏｌｅｃｌｕｓｔｅｒ．Ｗｅｅｌａｂｏｒａｔｅｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｔｈｅ ｍｏｄｅｌｆｒｏｍｔｈｒｅｅａｓｐｅｃｔｓ：ｔｈｅｏｖｅｒａｌｌｓｔｒｕｃｔｕｒｅ，ｄｉｓｔｒｉｂｕｔｅｄｆｕｌｌｔｅｘｔｒｅｔｒｉｅｖａｌａｌｇｏｒｉｔｈｍｄｅｓｉｇｎｐｒｏｃｅｓｓ，ａｌｇｏｒｉｔｈｍ ｖｅｒｉｆｉｃａｔｉｏｎ，ａｎｄｔｈｅｖａｌｉｄａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｉｔｈａｓａｇｏｏｄｑｕｅｒｙｐｅｒｆｏｒｍａｎｃｅ． Ｋｅｙｗｏｒｄｓ　　Ｄｉｓｔｒｉｂｕｔｅｄｍｅｓｓａｇｅｑｕｅｕｅ　Ｅｎｔｅｒｐｒｉｓｅｆｕｌｌｔｅｘｔｒｅｔｒｉｅｖａｌ　Ｄｉｓｔｒｉｂｕｔｅｄｆｕｌｌｔｅｘｔｒｅｔｒｉｅｖａｌ 批量数据、复杂计算的流行方式，分布式全文检索提出 ０　引　言 可以解决企业级全文检索的索引建立和查询的效率 问题。 随着信息化技术的不断发展，大、中型企业对信息 分布式全文检索技术的引入提高了全文检索系统 化应用的规模也在不断扩大，应用的需求也越来越复 在应对大数据量查询的性能以及全文检索系统结构的 杂。其中企业对各类文档、报表数据的检索需求从传 可扩展性。分布式全文检索的常用方式包括一种基于 统的检索方式发展为全文检索的方式。而传统的企业 Ｐ２Ｐ的分布式搜索技术以及基于ＭａｐＲｅｄｕｃｅ的分布式 信息化平台中只提供传统的搜索功能甚至并没有搜索