垂直搜索引擎数据采集技术的研究与实现计算机软件与理论专业论文.docxVIP

华北电力大学硕士学位论文摘 华北电力大学硕士学位论文 摘 要 垂直搜索引擎是针对通用搜索引擎的信息量大、查询不准确、深度不够等问题 提出来的新的搜索引擎服务模式。本文在查阅了大量的国内外文献的基础上，对垂 直搜索引擎的系统结构、工作原理、 搜索策略、链接去重和网页更新等关键技术 和主要算法进行了深入的学习和研究。重点讨论了垂直搜索引擎数据采集系统的搜 索策略和主题相关性算法，并对链接去重和网页更新等算法进行了改进，在此基础 上对垂直搜索引擎进行了总体设计，设计实现了一个电子商务垂直搜索引擎的信息 采集系统。实验结果表明，该系统具有较高的采集效率，采集的页面具有较好的主 题相关度，达到了预期的设计目标。该系统具有较好的实用价值和应用前景。 关键词：垂直搜索引擎，主题爬虫，网络蜘蛛，PageRank ABSTRACT The vertical search engine is a new search service，aimed to solve the problems of too-massive data，low search accuracy and profundity in common search engine．This paper investigated a great deal of domestic and international documents，and deeply researched as well as the principle and critical technique of vertical search engine on system structure，working principle，search strategy,duplicated links deletion and page updating algorithms．The paper focuses on the search strategy and topic al gorithm．On the bases of improving the duplicated links deletion algorithms and page updating strategy,this paper overall design an electronic commerce vertical search engine，design and implementation of a focused crawler of the search engine．Experimental results show that the system is efficiency,has better collection of the pages related to the topic，has achieved the anticipated target．The system has good practical value and application prospect． Hai Tao(Computer Science) Directed by vice prof．Zheng Ling Key words：vertical search engine，focused crawler，web spider，PageRank ／士=1 ／士=1 明明 本人郑重声明：此处所提交的硕士学位论文《垂直搜索引擎数据采集技术的研 究与实现》，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究 工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其 他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名： 逸2鸯 日 期：竺堕：三：1 2， 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：①学校有权 保管、并向有关部门送交学位论文与复印件：②学校可以采用影印、缩印或其它复 制手段复制并保存学位论文；③学校可允许学位论文被查阅或借阅；④学校可以学 术交流为目的，复制赠送和交换学位论文；⑤同意学校可以用不同方式在不同媒体上 发表、传播学位论文的全部或部分内容。 (涉密的学位论文在解密后遵守此规定 作者签名：姚 导师签名： 华北电力人学硕十学位论文第一章引言 华北电力人学硕十学位论文 第一章引言 1．1选题背景及意义 随着Intemet的迅速发展，网络对我们的影响已经越来越大。而在网上发展最 为迅猛的WWW技术，以其直观、方便的