基于Lucene的XML文件相似度检索系统.pdfVIP

计 算 机 系 统 应 用 http：llwww．c—Sa．org．eft 2015年 第 24卷 第 2期 基于Lucene的XML文件相似度检索系统① 吴新强，周 娅，王如意，张敬伟，林煜明 (桂林电子科技大学 计算机科学与工程学院，桂林 541004) 摘 要：经分析研究开源的Lucene系统架构以及特殊xml数据源，针对 Lucene搜索得分公式的不足，提出了结 合词项位置和二次检索的公式，设计一种文本搜索系统；并以提高检索性能、相似性搜索的准确率、索引的空间 效率和支持查询的时间效率为 目标进行实验，最后通过部署 Tomcat服务器实现．经实验验证，改进的系统较之 于原Lucene系统提高了建立索引效率、查询效率、准确率． 关键词：WebLucene；相似度；词项位置；二次检索；XML XM LFileSimilarityRetrievalSystem BasedOilLueene WUXin-Qiang，ZHOU WANGRu-Ri，ZHANGJin—Wei，LINYu—Ming (SchoolofComputerScienceandEngineering，GuilinUniversityofElectronicTechnology,Guilin541004，China) Abstract：OnthebasisofanalysisandstudyonhteopensourceLucenesystem architecture，asemanticsearchsystem is designedbasedonhtespecialXML dataSOurCes inhtispaper．What’Smore，weusetheworditem locationnadword esmnatictoimprovehteLucene’Ssearchresultsandconductexperimentstotestnadverifyhteretrievalperformnace，the accuracyofsimilarityesarch,htespaceefficiencyofindexandhtetime-efficiencyofsupportinginquiry：Andfinallyby deployinghteTomcatservertoimplementOur implementsystem．Theexpe rimentresultsprovehtat compraedwiht the originalLuceneindexingsystem，Our system callmiprovehtenidexingefficiency,queryefficiencynadaccuracy． Keywords：Lucene；similariyt；lexicalitem location；escondaryretrieval；XML 与传统的目录索引、关键字索引相比，语义索引 构由问题单 XML文档构成，除了编号以外，还包括问 方式更加接近人类的生活方式，使检索系统与用户的 题单号、简要描述、详细描述四个域，分别从简到详进 交流越发人性化．但因为汉语中语义的多样性和复杂 行描述．其中问题单号可以看成查询中关键词的重量 性，当前还没有很好的支持汉语的自然语言搜索引擎． 级词项，而简要描述和详细描述则可看成对问题单号 Lucenet1中提到其本身不是一个相对完整的全文 的具体描述信息． 搜索引擎，而是一个简单的架构应用与全文搜索引擎． 由于 Lucene 自身相似度评分公式忽略了词语位 Lucene是一个全文检索引擎工具包，应用与开放源代 置，对本文中的特殊数据源无法有效的计算出其正确 码．它作为一个全文搜索引擎，有其本身比较突出的特 的得分并进行倒排，同时造成了一定的精确度误差． 性．但也有不足之处：偏向于短文本得分高；对于查 所 以，本文提出了一种新的计算相似度的评分公式， 询词在一个文档中位置并不重要；一个文档中，除该 即在原始相似度的基础上结合词语位置相似度和二次 查询词外，其他的词越多，得分越低；没有考虑到汉