Heritrix在电子信息垂直搜索平台中的应用.pdfVIP

第32卷第2期 成都大学学报(自然科学版) V，01．32No．2 of Science 2013年6月 JournalChengduUniversity(NaturalEdition) Jun．2013 文章编号：1004—5422(2013)02—0156—03 Heritrix在电子信息垂直搜索平台中的应用 赵永鑫1’2，雷霖2 (1．西华大学数学与计算机学院，四川成都6113039；2．成都大学电子信息工程学院，四川成都610106) 摘要：介绍了垂直搜索引擎和网络爬虫的基本概念，以及Hefitrix系统的体系结构，分析了Herinix工作流程。 息的定向与多线程抓取，为建立面向电子信息的垂直搜索引擎提供了信息源． 关键词：Heritrix；ELFPa曲算法；多线程；电子信息；垂直搜索引擎 中田分类号：TP393．09 文献标志码：A O 引 言 随着互联网技术的发展，万维网已成为大量信 息的载体，如何有效地提取并利用这些信息已成为 —个巨大的挑战．搜索引擎作为检索信息的工具成 为用户访问万维网的人口和指南，但是，作为传统搜 索引擎，如G∞酶、百度等，存在一定的局限性：传统 搜索引擎不能很好地解决个人搜索需求的差异；传 统搜索引擎要求更高的查全率，这将增大了有限的 服务器资源与无限网络资源的矛盾；传统的搜索引 擎难以支持基于语意的检索等等…．为了解决这些 问题，垂直搜索引擎成为了近年来科研人员研究的 热点【2‘3】．垂直搜索引擎也被称为专业或专用搜索 图1 Heritrix的控制管理界面 引擎，是针对某一个行业的专业搜索引擎，是传统搜 Type 索引擎的细分和延伸，在解决某些实际查询问题的 时候其比传统搜索引擎更有效[4。】．本研究分析了 80Object·j吖tl啦￡ 白．9 Attribute—j盯欤．自瓿鳝强eⅡt Heritrix工作流程，针对Heritirx中存在的一些不完善 Q-孵ler s“tin夺 留．-璺^Te-org．trcb．ive 的地方，引入E12Hash算法，通过扩展Heritrix实现 er甜hr．setti垮 鲁奢‘c哪l咖e一吣缸ehm 了电信信息搜索平台信息的多线程抓取，为建立面 每一毋h挝．eTe一竹§竹cbve．cry*let；ettlMs 向电子信息的垂直搜索引擎提供了信息源． j·p酶酾《鬻j漉每每簿商簸每酾簿 图2 Oawl‰lleT的继承图 1 Heritrix网络爬虫的架构简介 从图2上可以看到，CrawlOrder继承自一系列的 Heritrix网络爬虫是一个由纯iava开发的、开源 与属性相关的基类．其顶层的基类是iavsx．础啪咎． 的Web网络爬虫，用户可以过它在网络上抓取所需 要的网页资源[6。7】．图l为I-leritrix的控制管理界面． 性变化，而CrawlOrder中的属性是需要随时被读取 1．1任务抓取(CrawlO