基于内容的中文文本检索方法.pdfVIP

计 算 机 系 统 应 用 http：／／www．c—S·a．org．cn 2012年 第2l卷 第 9期 基于内容的中文文本检索方法① 王 婧，王新房 (西安理工大学 自动化与信息工程学院，西安 710048) 摘 要：随着信息量的急剧增加，检索技术显得尤为关键．目前很多检索技术都是基于索引的检索技术．文中借 助了Lucene的索引技术与检索机制，通过对索引信息的改进以及使用基于内容的改进方法，对Lucene结果与查 询语句在向量空间中重新计算相似度，实现了对长段查询语句检索结果排序位置的提高． 关键词：Lucene；向量空间模型；索引；相似度 ChineseTextRetrievalM ethodBasedonContent WANG Jing, rANGXin-Fang (SchoolofAutomaticandInformationEngineering，Xi’anUniversityofTechnology,Xi’an710048，China) Abstract：Withhterapidincreaseofniformation,retrievaltechnologyisbecomingmoreandmoreimportant．Atpresent, manyretrievaltechniquesarebasedonindexretrievaltechn iques．Thispaperstudieshteserachnadnidextechn oloyg of luceneandrecalculatedhtesimilarityofLuceneresultnadqueryintheVectorSpaceModeltomiprovehtesortlocation of~ngquery serachresultthroughhtemiprovednidexinformationandthemiprovedmethodbasedoncontent． Keywords：vectorspacemodel；lucene；nidex；similariyt 随着科技的飞速发展，文本信息量越来越多，如 能．Lucene有一套 自己的索引、检索机制与结果排序 何在海量的信息中获取 自己真正想要的信息成为一个 方法，可以较为方便快捷地进行检索．但索引与检索 巨大挑战．基于 内容的检索是根据媒体对象的语义和 两者是相互独立的，这使得开发人员可以根据需要对 上下文联系进行检索．这种检索技术突破了传统的基 它们进行二次扩展． 于关键字的检索的局限，直接对对象的内容进行分析， Lucene源码中共包括 7个子包，每个包完成特定 抽取特征和语义。并建立索引进行检索．如果返回的 的功能，具体内容如表 1所示： 检索结果是按顺序检索的响应时间给出，那么检索的 表 1 Lucene源码包对应功能表 过程会变的乏味冗长．为 了解决这种问题，文本文档 Lucene源码包名 功能 库采用建立索引的技术缩短检索时间．基于内容的检 Org．a~hce．1ucnee．analysis 语言分析器，主要用于分词 索技术往往也都是基于索引的 l【】，它非常适用于大规 Org．~llch~．1ucnee．document 索引存储时的文档结构管理 模、稳定的或周期性变化的文本文档的检索．文中将 引入Lucene平台，在其已有的基础上进行相关检索结 Org．apahce．1ucene．index 索引管理。提供库的读写接 口 ● 果改进，以便获得更好的检索效果．