垂直搜索引擎中主题网络爬虫算法分析-计算机软件与理论专业论文.docxVIP

目录 HYPERLINK \l _bookmark0 摘要 I HYPERLINK \l _bookmark1 ABSTRACT II HYPERLINK \l _bookmark2 第一章 绪论 1 HYPERLINK \l _bookmark3 1.1 研究背景和意义1 HYPERLINK \l _bookmark4 1.2 国内外研究现状2 HYPERLINK \l _bookmark5 1.2.1 通用网络爬虫研究现状2 HYPERLINK \l _bookmark6 1.2.2 主题网络爬虫研究现状3 HYPERLINK \l _bookmark7 1.3 研究内容及组织结构5 HYPERLINK \l _bookmark8 第二章 搜索引擎中的网络爬虫6 HYPERLINK \l _bookmark9 2.1 搜索引擎简介6 HYPERLINK \l _bookmark10 2.1.1 搜索引擎的发展史6 HYPERLINK \l _bookmark11 2.1.2 搜索引擎的分类7 HYPERLINK \l _bookmark12 2.1.3 搜索引擎工作原理8 HYPERLINK \l _bookmark13 2.2 通用网络爬虫9 HYPERLINK \l _bookmark15 2.2.1 通用网络爬虫体系结构9 HYPERLINK \l _bookmark18 2.2.2 通用网络爬虫的搜索策略10 HYPERLINK \l _bookmark20 2.3 主题网络爬虫12 HYPERLINK \l _bookmark21 2.3.1 主题网络爬虫体系结构12 HYPERLINK \l _bookmark23 2.3.2 主题网络爬虫的搜索策略13 HYPERLINK \l _bookmark27 2.4 通用网络爬虫与主题网络爬虫的区别18 HYPERLINK \l _bookmark30 2.5 本章小结19 HYPERLINK \l _bookmark31 第三章 主题网络爬虫关键技术20 HYPERLINK \l _bookmark32 3.1 网页预处理20 HYPERLINK \l _bookmark33 3.1.1HTML 网页结构 20 HYPERLINK \l _bookmark34 3.1.2 网页内容的提取21 HYPERLINK \l _bookmark36 3.1.3 文本分词22 HYPERLINK \l _bookmark37 3.2 主题相关性判定算法22 I HYPERLINK \l _bookmark38 3.2.1 向量空间模型判定算法23 HYPERLINK \l _bookmark40 3.2.2 向量空间模型算法的优点和缺点25 HYPERLINK \l _bookmark41 3.2.3 朴素贝叶斯分类算法26 HYPERLINK \l _bookmark42 3.2.4 朴素贝叶斯分类算法优点和缺点28 HYPERLINK \l _bookmark43 3.3 本章小结28 HYPERLINK \l _bookmark44 第四章 基于候选链接主题边缘文本的主题爬虫29 HYPERLINK \l _bookmark45 4.1 杜威十进分类法29 HYPERLINK \l _bookmark48 4.2 候选链接主题边缘文本的提取30 HYPERLINK \l _bookmark50 4.3 构建朴素贝叶斯文本分类器31 HYPERLINK \l _bookmark52 4.4 主题网络爬虫体系结构33 HYPERLINK \l _bookmark54 4.5 本章小结34 HYPERLINK \l _bookmark55 第五章 实验分析 36 HYPERLINK \l _bookmark56 5.1 评价方法36 HYPERLINK \l _bookmark57 5.2 实验环境37 HYPERLINK \l _bookmark58 5.3 实验结果与分析37 HYPERLINK \l _bookmark61 5.4 本章小结39 HYPERLINK \l _bookmark62 第六章 总结与展望 40 HYPERLINK \l _bookmark63 6.1 总结40 HYPERLINK \l _bookmark64 6.2 展望40 HYPERLINK \l _bookmark65 参考文献 41 HYPERLINK \l _bookmark93 攻读硕士期间发表的学术论文和科研成果44 HYPERLINK \l _bookmark94 致谢 4