基于Lucene的搜索排序算法研究与实现.pdfVIP

第4gq 无线互联科技 No．4 2017年2月 Internet Technology FebrUarY，2017 基于Lucene的搜索排序算法研究与实现 刘琼茹 (西安建筑科技大学华清学院，陕西 西安 710043) 摘 要：Lucene是JaVa实现全文搜索引擎的工具包，短小精悍，功能强大，近来被广泛使用。文章对其核心 “索引．检索”进行了 研究，搭建该平台并引入了中文分词，可完成对中文的搜索，以及实现 “与”和 “非”功能。在排序部分，分别用向量空间模型和 BM25实现。在系统实现时，主要介绍了3种评测方法，对VSM和BM25模型排．序算法进行了评测，并进行对比分析。 关键词：搜索引擎；Lucene；空间向量模型；BM25 倒频 某个词在文章中的出现次数 1 研究背景 、 。 ， 进入互联网时代后，随着信息量爆炸性地增长，各种信 —— 西蕊丽 一 息扑面而来，然而人们的接受能力相对有限，显然获得第二 (2)计算IDF。 种知识的渠道艰难而匮乏。此时人们迫切地需要一种技术手 逆文档频率(IDF)=。gc石墨笔 段，能够使获取信息的过程更加简单、准确，从而去除干扰 信息，直接找出人们想要的信息。搜索引擎技术的出现，让这 包含该词的文章数加1是为了防止分母为零，取对数后 一 切可以成为现实。经过数十年的发展，目前搜索引擎已经 方便计算而且防止IDF过大影nNf]UTF的比重。 成为人们 日常生活中必不可少的工具。 (3)得~JiTF．IDF。 不可忽视的是，由于搜索引擎的开发与后续维护的成本 TF—IDF =词频 (TF)×逆文档频率 (IDF) 很高，不仅需要大量的资金投入，还需要很强的技术能力。 计算出文档的每个词的TF．IDF值，然后按降序排列，即 所以，不是每一个公司都可以开发出令用户满意并且安全性 可得到自动提取关键词。 高的搜索引擎。而Lucene的出现恰好解决了以上问题。开发 2．1．2向量空间模型 人员可以利用Lucene这个基于Java的全文检索工具包开发一 在向量空间模型下，构造关键词权重计算公式需要遵循 个搜索引擎或者直接集成到各种系统软件中去。Lucene因为 3个基本原则：一个关键词在某个文档中的出现次数与它的 其源代码开放、索引结构优异和系统架构 良好等优点在国外 重要性成正比；一个关键词在越多的文档中出现，那么这个 得到越来越广泛的应用。近些年来Lucene在国内受到越来 词区分文档的作用就越低，其重要性也应相应调低；一篇文 越广泛的关注，所以对于中文用户，如何基于lucene对中文 档越长，其出现某个关键词的次数就会越高，于是关键词对 文本建立索引并进行有效的搜索显得尤为重要。 该文档的区分作用就会降低，这些关键词的重要性就会大 2 搜索引擎排序模型研究 打折扣。 2．1传统排序模型 人们较为熟悉的计算相似度的方法是采用欧式距离来 在信息检索领域里，传统的排序模型包括相关性排序 度量向量间的距离： 模型和重要性排序模型。搜索引擎的相关性排序模型有概 率模型、布尔模型、学习排序模型、超链接模型和空间向量 M (Q，Dd)= w 模型。本文主要研究向量空间模型和概率模型中的BM25算 法。这两个模型都会涉及TF．IDF算法。 实际上这是一个度量不相似的方法，采用欧式距离将 2．1．1TF—IDF算法 导致和内积相反的错误，因为查询和文档相比是非常短