基于网络爬虫的文献检索系统的研究和实现.pdfVIP

第24卷 第 11期 计 算机 技 术 与 发 展 Vo1．24 No．11 2014年 11月 COMPUTER TECHNOLOGY AND DEVELOPMENT Nov． 20l4 基于网络爬虫的文献检索系统的研究和实现 杨 洋 ，李晓风 ，赵 赫 ，刘 冰 (1．中国科学院 合肥物质科学研究院，安徽 合肥 230031； 2．中国科学院大学，北京 100049； 3．中国科学技术大学，安徽 合肥 230026) 摘 要：文中系统基于网络爬虫技术实现了文献资源的智能搜索和关键信息的抓取功能，把采集到的信息采用本体论的 方法进行分类识别，并 自动存储文献资源到本地服务器。下载子系统采用负载均衡的方法把下载任务分配到多个服务 器。系统采用高效的Pmtobufsocket通信手段，提供高效准确的内部下载服务。通过对内提供统--f-I户入口的方式对检索 和下载行为进行记录，有效避免了同一资源的重复下载，也使得文献检索和下载行为变得可追溯，为图书文献情报管理和 研究工作提供了数据支撑。该系统可有效减少科研机构获取学术资源所需的资金投入并减少网络带宽占用。 关键词：网络爬虫；本体论；论文检索；Web；MVC；负载均衡 中图分类号 ：TP393．4 文献标识码：A 文章编号：1673—629X(2014)11—0o35一o4 doi：10．3969／j．issn．1673-629X．2014．11．009 ResearchandRealizationofAcademicSearchSystem BasedonNetworkCrawler YANG Yang ，LIXiao—feng ，ZHAO He ，LIU Bingf (1．HefeiInstitutesofPhysicalScience，ChineseAcademyofSciences，Hefei230031，China； 2．UniversityofChineseAcademyofSciences，Beijing100049，China； 3．UniversityofScienceandTechnologyofChina，Hefei230026，China) Abstract：Thissystem hasrealizedintelligentserachandexternalacademicresourcescapturebasedonnetworkcrawlertechnique．Ituses ontologytechnologytoidentifyeacharticleandautomaticallystoretheresollrcesintolocalrepository．Downloadingsubsystem inthissys— tem appliesloadbalancemehtodtodistributedownloadingtasksequallytoeachdownloadserver．Protobuf，ahigh-effi ciencycommunica- tionmechanism ，providesdownloadingservicewitl1highavailabilitynadaccuracyinhtissystem，Athtesalnetime，thissystem hassolved hteproblem ofrepeatde downloadingna daccessrecordingbyofferingauniqueentrancetohtewholeinstitute．Accessconrtolisalsode— signedtoelim