基于Heritrix的主题爬虫在互联网舆情系统中应用.pdfVIP

第 ２3 卷 第 ６ 期 电子设计工程 ２０１5 年 3 月 Vol．２3 Ｎo．６ Eleｃtroniｃ Design Engineering Mar． ２０１5 基于Heritrix 的主题爬虫在互联网舆情系统中应用 肖 江 ， 季 节 （江 苏科技大学 计算机科学与工程学院 ， 江苏 镇江 ２１２００3 ） 摘 要 ： 在信息化爆炸的时代 ，一般搜索引擎的搜索结果已经满 足 不 了人们 的 需要 ，能 获 得更 准 确 全面 信息 的垂 直 搜 索引擎越来越受到关注 。其中 ，主题爬虫作为垂直搜索引擎的核心部分一直是搜索方向的研究热点 。本文以开源的网 络爬虫 Heritrix 为基础 ，分析其结构特征与工作原理并引入了多线程处理的改进办法 ，设计出一个主题 爬虫 ，在 单 机 环境下进行该爬虫性能的测试 。 实验结果表明该主题爬虫的查全率达到较高水准 ，为进一步研究开发搜索效率高的 垂直搜索引擎打下坚实的基础 。 关键词 ： 舆情系统 ； 主题爬虫 ； Heritrix ； 多线程 中图分类号 ： Ｎ９１ 文 献标识码 ： 文 章编号 （ ） Ｔ Ａ ： １６7４－６２3６ ２０１5 ０６－００3０－０3 The application of focused crawler based on Heritrix in internet public opinion system XIＡO Jiang ， JI Jie （School of Computer Science and Engineering ， Jiangsu University of Science and Technology ， Zhenjiang ２１２００3 ， China ） Abstract: In tｈe era of inforｍation explosion ， tｈe general ｃrawler ｃannot ｍeet tｈe requireｍents of personaliｚed searｃｈ in speｃifiｃ areas ， but tｈe topiｃ ｃrawler wｈiｃｈ ｃan obtain ｍore aｃｃurate and ｃoｍpreｈensive inforｍation get ｍore attention． Ａｍong tｈeｍ ， tｈe topiｃ ｃrawler as tｈe ｃore part of tｈe vertiｃal searｃｈ engine ｈas been tｈe researｃｈ foｃus in tｈe searｃｈ direｃtion． On tｈe basis of analyｚing tｈe struｃture and ｃｈaraｃteristiｃs of tｈe topiｃ ｃrawler Heritrix ， tｈis paper it designs a topiｃ ｃrawler by introduｃing its own iｍproveｍent suggestions to ｍultitｈreading and an experiｍent of tｈe perforｍanｃe of tｈe ｃrawler ｈas been ， ｃarried out on ＰＣ． Ｔｈe results of tｈis experiｍent proves tｈat tｈe abil