垂直搜索引擎中分词技术的算法研究.pdfVIP

第22卷 第2期 计 算 机 技 术 与发 展 V0I．22 No．2 2012年 2月 C0MPUTER TECHNOLOGY AND DEVEI PMENT Feb． 2012 垂直搜索引擎 中分词技术的算法研究 邹 嵩，赵诗阳，周新志 (四川大学 电子信息学院，四川 成都 610064) 摘 要：为了提高垂直搜索引擎的检索效率，介绍 了垂直搜索引擎中的分词技术。文中主要通过研究最大长度匹配算法 ， 提出了改进后的最大长度匹配算法以提高检索效率。改进后的算法显示 ，分词效果得到了一定的提升 ，体现了相对于普 通最大长度匹配算法的优势。且通过将改进后的方法与普通最大长度匹配算法相比较可知，改进后的算法提高了搜索的 正确率，提升了检索的效率，是一种对最大长度匹配算法的有效改进，由此也体现了搜索引擎中算法合理设计可以提升搜 索性能。 关键词：垂直搜索引擎；分词技术 ；最大长度匹配算法 中图分类号：TP301．6 文献标识码 ：A 文章编号：1673—629X(2012)02—0131—03 W ordSegmentationAlgorithm inVerticalSearchEngine ZOU Song，ZHAO Sbi-yang，ZHOU Xin-zhi (CollegeofElectronicsandInformationEngineering。SichuanUniversity，Chengdu610064，China) Abstract：InOrdertoimproveverticalsearchengineSserachefficiency。describethewordsegmentation invertical serachengine．Itstud— ieshtechraacteristicsofhtem~ imum lengthmatchingalgorihtms，proposehteimprovingofhtemaximum lengthmatchingalgorihtm to improvesearchefficiency． eimprovedalgorihtm showshtat，itresultstoacertain improvementtohtesegmentation，reflectedhteadvan— tagecomparedtohteordinarymaximum lengthmatchmgalgorihtms．Andcompraedtohtemxaimum lengthmatchingalgorihtms。hteim— provedalgorihtmscanimprovetheserachaccuracyrate。enhancetheefficiencyofretrieval，nadithasaeffcetiveimprovementtohtemxa- imum lengthmatchingalgorithms。anditalso reflcetshtattherational designofserach enginealgorithmscna improveserachperform— na te． Keywords：vertical esarchengine；wordsegmentation；maximum lenght matchingalgorihtms 0 引 言 1 搜索引擎中的分词技术 目前，传统的搜索引擎，在针对各行业相关专业文 现行常用的分词技术有单汉字分词、双汉字分词 档搜索查询方面已有所局限，在一些专业领域，通用搜 和最大长度匹配算法 。 索引擎的检索必然会带来 “搜索噪音”、“信息过载”、 I．I 单汉字分词 “信息冗余”等一系列负面结果 ，不能真正实现高效与