- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第 23 卷 第 6 期 电子设计工程 2015 年 3 月
Vol.23 No.6 Electronic Design Engineering Mar. 2015
基于Heritrix 的主题爬虫在互联网舆情系统中应用
肖 江 , 季 节
(江 苏科技大学 计算机科学与工程学院 , 江苏 镇江 212003 )
摘 要 : 在信息化爆炸的时代 ,一般搜索引擎的搜索结果已经满 足 不 了人们 的 需要 ,能 获 得更 准 确 全面 信息 的垂 直 搜
索引擎越来越受到关注 。其中 ,主题爬虫作为垂直搜索引擎的核心部分一直是搜索方向的研究热点 。本文以开源的网
络爬虫 Heritrix 为基础 ,分析其结构特征与工作原理并引入了多线程处理的改进办法 ,设计出一个主题 爬虫 ,在 单 机
环境下进行该爬虫性能的测试 。 实验结果表明该主题爬虫的查全率达到较高水准 ,为进一步研究开发搜索效率高的
垂直搜索引擎打下坚实的基础 。
关键词 : 舆情系统 ; 主题爬虫 ; Heritrix ; 多线程
中图分类号 : N91 文 献标识码 : 文 章编号 ( )
T A : 1674-6236 2015 06-0030-03
The application of focused crawler based on Heritrix in internet public opinion system
XIAO Jiang , JI Jie
(School of Computer Science and Engineering , Jiangsu University of Science and Technology , Zhenjiang 212003 , China )
Abstract: In the era of information explosion , the general crawler cannot meet the requirements of personalized search in
specific areas , but the topic crawler which can obtain more accurate and comprehensive information get more attention. Among
them , the topic crawler as the core part of the vertical search engine has been the research focus in the search direction. On
the basis of analyzing the structure and characteristics of the topic crawler Heritrix , this paper it designs a topic crawler by
introducing its own improvement suggestions to multithreading and an experiment of the performance of the crawler has been
,
carried out on PC. The results of this experiment proves that the abil
您可能关注的文档
最近下载
- PEN3电子鼻操作手册.pdf VIP
- DFMEA理论与实战六步搞定DFMEA表格剖析.ppt VIP
- 低温斯特林热机探索PPT.ppt VIP
- 五年(2021-2025)全国高考生物真题分类汇编 专题16 免疫调节(全国通用)(解析版).pdf VIP
- 学校传染病预防与控制关键措施和突发公共卫生事件报告与处理流程图.pdf VIP
- GB_T50640-2023《建筑与市政工程绿色施工评价标准》.pdf VIP
- 招飞pat考试真题及答案2025.doc VIP
- 大学生职业生涯规划书.pdf VIP
- 新19J108 外墙外保温薄抹灰系统建筑构造.pdf VIP
- 我的职业生涯规划36.ppt VIP
原创力文档


文档评论(0)