面向主题的网页资源采集系统的研究与实现-软件工程专业毕业论文.docxVIP

Classifled Classifled Index： Code：10224 Confidential(yes／no)：no NO．：121411045 Dissertation for the Master Degree Research and Implement of Webpage Resource Acquisition System Oriented Theme Candidate：Guo Junjun Supervisor：Associate Professor Meng Fanj iang Degree Category：Master of Science in Engineering College：College of Electric and Information First level discipline：Software Engineering Second level discipline：Software Engineering Harbin China June 2015 万方数据 目录目 目录 目 录 摘要 一I 英文摘要 ．III 1前言 ．．1 1．1课题研究目的和意义 一1 1．2国内外研究现状 ．．2 1．3研究的主要内容 一5 1．4本文组织结构 一5 2主题网页信息采集概述 ．7 2．1搜索引擎介绍 一7 2．1．1搜索引擎的发展 7 2．1．2搜索引擎的分类 7 2．1．3搜索引擎体系结构 8 2．2通用网络爬虫 ．．9 2．2．1网络爬虫的结构 9 2．2．2网络爬虫的工作流程 一10 2．2．3网络爬虫的搜索策略 ．．11 2．3主题网页信息采集 1 2 2．3．1主题爬虫结构 ．12 2-3．2主题爬虫的工作流程 一13 2．3．3主题爬虫的特性 一1 3 2．4本章小结 14 3主题网页信息采集关键技术研究 ．1 5 3．1 Web信息抽取技术 15 3．1．1 Web信息抽取方法 ．15 3．1．2 HTML网页文档对象模型 一18 3．2网页主题相关度计算模型 ．2l 3．2．1布尔模型 ．21 3．2．2向量空间模型 ．21 3．2．3概率检索模型 ．23 3．3爬行策略算法研究 25 3．3．1基于文字内容的算法 25 3-3．2基于链接分析的算法 一26 3．4采集算法改进研究 29 3．4．1主题相关度计算模型及爬行策略优缺点分析 29 3．4．2网页主题相关度计算模型的改进 ．．30 3．4．3 URL爬行策略优化 ．30 万方数据 东北农业大学工学硕士学位论文3．4．4双重约束主题采集算法 东北农业大学工学硕士学位论文 3．4．4双重约束主题采集算法 一32 3．5本章小结 33 4系统设计与实现 34 4．1大豆主题网页资源采集系统的实现 ．34 4．1．1 Web开源软件分析 ．34 4．1．2 Nutch架构及其机制 34 4．1．3基于Nutch的采集系统具体实现 36 4．2实验测试与分析 39 4．2．1性能评价指标 ．39 4．2．2实验比较及分析 ．40 4．3本章小结 4l 5总结与展望 一42 5．1全文总结 42 5．2研究展望 42 致j射 ．．44 参考文献 。 45 攻读硕士学位期间发表的学术论文 49 II 万方数据 CONTENTS CONTENTS CoNTENTS Abstract ．I Abstract in English ． ． ．． ． ． ．．III 1 Introduction ． ． ．．．． ．． ． ． ． ． ． ． ．．．．1 1．1 Research purpose and meaning 1 1．2 Research status at home and abroad ． ． ． ． ．2 1．3 Main research content ． ．．． ．． ． ．． ．． ．． ． ．．5 1．4 Structure ofthe article ． ． ．． ． ． ． ．． ．．． ． ．． ．5 2 Overview of theme webpage information collection ． ． ． ．7 2．1 Introduction to search engines． ． ． ．． ． ． ．．．7 2．1．1 Development search engine ．．7 2．1．2 Search engine classification ．7 2．1．3 Structure of search engine system ．8 2．2 General web crawler ．9 2．2．