电子信息垂直搜索引擎的研究与实现-计算机应用专业论文.pdf.docxVIP

摘要在互联网高速发展的今天，网络信息呈指数增长，搜索引擎在互联网的应用中一直占据着主要的地位。但是通用搜索引擎给人们带来便利的同时，也给人们带来了检索上的烦劳。具体表现为：检索返回的信息量十分庞大，用户需要花大量的时间在这些繁杂的信息中寻找到自己感兴趣的信息；通用搜索引擎并没有考虑到用户专业知识需求，无差别的返回检索结果，将造成检索过程的不便。垂直搜索引擎作为未来搜索引擎的一个发展趋势，专注于某一个领域的搜索，在现代行业分工以及社会分工的逐渐细化的情况下，发挥着重要作用。用户对某一个专业信息有着很强的需求，垂直搜索引擎就是为了解决某（这）类专业信息检索的问题，其主要通过主题爬虫技术等，使得垂直搜索引擎在解决某些专业问题的时候比通用搜索引擎更加实用。本文在介绍了搜索引擎和垂直搜索引擎的基础上，重点分析研究了heritrix 网络爬虫，通过定制heritrix爬虫达到了主题网络信息的抓取、通过引入ELFHash 算法，使得heritrix能够多线程抓取网页、通过消除对robots.txt的限制加快heritrix 的抓取速率。本文采用lucene来建立索引和检索，在分析研究lucene基本框架结构的基础上，对lucene 自带的中分分词和排序做了修改。在针对电子信息搜索引擎需求下，设计出基于电子信息专业词典和统计结合的中文分词算法和修改了lucene的自带排序算法，使得检索的结果更加符合用户的需求。除此文章还对下载的网页信息做了内容的分析处理，以便lucene能够建立索引。最后通过实验测试，验证了垂直搜索引擎与通用搜索引擎的不同与优劣、验证了网络爬虫的高效性、验证了中文分析的效果。整体的测试演示证明了系统具有一定的可靠性和实用性，对构建垂直搜索引擎有一定的参考价值。关键词：垂直搜索引擎；网络爬虫；lucene；中文分词；IAbstractNow,asthe rapiddevelopmentofInternet,networkinformationhas anexponential growth.Thesearchengineshavedominatedpositionintheapplicationofthe Internet.Ontheonehand,generalsearchenginesbringconveniencetousers;onthe otherhand,theyalsogivethemtroublesforthesearchresults.Returningalotof informationofsearchresultsisoneofthespecificperformance.Ittakesalotoftime tofindtheinformationtheyareinterestedforusers.Generalsearchenginescannot considertheprofessionaldemandforusers,thereisnodifferenceinthereturningof searchresults brings alotofinconveniencetotheusers.AsaVerticalSearchEngine,focusonaparticularfield.Today,thereisastrong demandforprofessionalinformationwhenindustryandsocialisgradually Subdividing.Verticalsearchenginescansolvetheproblemofcertainprofessional informationsearch.Byusingsubjectspidertechnology,verticalsearchenginesare morepracticalthangeneralsearchenginesin solvingsomeprofessionalissues.Aftertheintroductionsofsearchenginesandverticalsearchengines,thispaper focusesonanalysisofHeritrix.ByusingthecustomHeritrixtogetthesubjectweb information,andbyintroducingHLFHashalgorithm,Heritrixcancrawltheweb Multi-threadedly.Byeliminatingtherestrictionofrobots.txt,thisalgorithm accelerates thecrawlingrate.Inthis