就业垂直搜索引擎中网络机器人的设计与实现软件工程专业论文.docxVIP

目 录 HYPERLINK \l _bookmark0 第一章 绪论 1 HYPERLINK \l _bookmark1 1.1 项目背景和研究意义 1 HYPERLINK \l _bookmark2 1.2 研究现状 2 HYPERLINK \l _bookmark3 1.3 研究内容 4 HYPERLINK \l _bookmark4 1.4 论文结构 4 HYPERLINK \l _bookmark5 第二章 网络机器人相关技术概述 5 HYPERLINK \l _bookmark6 2.1 网络主题及其特点 5 HYPERLINK \l _bookmark7 2.1.2 主题孤岛 6 HYPERLINK \l _bookmark8 2.2 网络机器人的基本概念 7 HYPERLINK \l _bookmark9 2.2.1 通用网络机器人8 HYPERLINK \l _bookmark10 2.2.2 聚焦网络机器人10 HYPERLINK \l _bookmark11 2.3 聚焦网络机器人主题漫游算法 11 HYPERLINK \l _bookmark12 2.3.1 按照网页重要性对 URL 进行排序 11 HYPERLINK \l _bookmark13 2.3.2 隧道技术12 HYPERLINK \l _bookmark14 2.3.3 CFC 13 HYPERLINK \l _bookmark15 2.3.4 决策树15 HYPERLINK \l _bookmark16 2.3.5 类间链接规律16 HYPERLINK \l _bookmark17 2.3.6 增强学习17 HYPERLINK \l _bookmark18 2.4 本章小结 18 HYPERLINK \l _bookmark19 第三章 聚焦网络机器人的总体设计 19 HYPERLINK \l _bookmark20 3.1 需求分析 19 HYPERLINK \l _bookmark21 3.1.1 功能需求19 HYPERLINK \l _bookmark22 3.1.2 性能需求19 HYPERLINK \l _bookmark23 3.1.3 出错处理需求19 HYPERLINK \l _bookmark24 3.1.4 约束19 HYPERLINK \l _bookmark25 3.1.5 将来可能提出的需求19 HYPERLINK \l _bookmark26 3.2 垂直搜索引擎中聚焦网络机器人的架构设计 20 HYPERLINK \l _bookmark27 3.3 聚焦网络机器人的主要功能模块 24 HYPERLINK \l _bookmark28 3.3.1 XML 配置文件监控机器人 24 HYPERLINK \l _bookmark29 3.3.2 网络主题列表页监控机器人30 HYPERLINK \l _bookmark30 3.3.3 网页捕获机器人31 HYPERLINK \l _bookmark31 3.4 本章小结 32 HYPERLINK \l _bookmark32 第四章 聚焦网络机器人实现与测试 33 HYPERLINK \l _bookmark33 4.1 运行以及开发环境说明 33 HYPERLINK \l _bookmark34 4.2 聚焦网络机器人编码实现 33 HYPERLINK \l _bookmark35 4.2.1 XML 监控机器人的实现 33 HYPERLINK \l _bookmark36 4.2.2 列表页面监控机器人的实现35 HYPERLINK \l _bookmark37 4.2.3 网页捕获机器人的实现36 HYPERLINK \l _bookmark38 4.2.4 优化方案实现38 HYPERLINK \l _bookmark39 4.3 系统细节与优化方案 40 HYPERLINK \l _bookmark40 4.3.1 DNS 缓存技术 40 HYPERLINK \l _bookmark41 4.3.2 多线程阻塞连接方式和单线程动作驱动连接方式42 HYPERLINK \l _bookmark42 URL 格式化和 URL 去重 42 HYPERLINK \l _bookmark43 URL 调度方法 44 HYPERLINK \l _bookmark44 4.3.5 页面存储44 HYPERLINK \l _bookmark45 4.4 聚焦网络机器人运行测试 46 HYPERLINK \l _bookmark46 4.4.1 聚焦网络机器人运行用例4