网络爬虫系统详细设计说明书V0.2.1.docVIP

深圳移动数据业务分析挖掘项目详细设计 广州星博 第 PAGE 65 页 共 SECTIONPAGES 63 页 网络爬虫系统详细设计说明书  用户单位： 承建单位： 广州星博信息技术有限公司  修订记录 版本 日期 修订标记 修订者 说明 V0.1 2010-7-23 A 陈跃群 草拟 V0.2 2010-8-3 M 陈跃群 添加“模块关系图”，“模块描述”，修改部分类图，修改序列图 V0.2.1 2010-8-3 M 陈跃群 修改“common模块时序图”，修改部分编号 注： A-添加，M-修改，D-删除，C-审核 目 录 TOC \o 1-3 \h \z \u 第1章 引言 4 1.1 目的 4 1.2 参考资料 4 第2章 系统概述 5 2.1 模块关系图 5 2.1.1 网页分类子系统 5 2.1.2 二级域名子系统 8 第3章 common 模块 10 3.1 模块描述 10 3.2 模块类图 10 3.3 模块序列图 11 3.4 重要类和接口描述 12 第4章 生成种子子系统 15 4.1 模块描述 15 4.2 模块类图 16 4.3 模块序列图 17 4.4 重要类和接口描述 18 第5章 网页数据采集子系统 21 5.1 Http访问组件模块 21 5.1.1 模块描述 21 5.1.2 模块类图 22 5.1.3 模块序列图 23 5.1.4 重要类和接口描述 23 5.2 网页采集URLs/ContentType过滤器、分类器模块 26 5.2.1 模块描述 26 5.2.2 模块类图 27 5.2.3 模块序列图 27 5.2.4 重要类和接口描述 28 5.3 网页采集DB接口模块 32 5.3.1 模块描述 32 5.3.2 模块类图 32 5.3.3 模块序列图 33 5.3.4 重要类和接口描述 33 5.4 链接抽取逻辑模块 34 5.4.1 网页数据生成子模块 34 5.4.2 网页链接抽取子模块 37 5.4.3 网页链接过滤子模块 40 第6章 预处理子系统 44 6.1 分词模块并建立正向索引模块 44 6.1.1 模块描述 44 6.1.2 模块类图 45 6.1.3 模块序列图 46 6.1.4 重要类和接口描述 46 第7章 归类子系统 49 7.1 训练分类器模块 49 7.1.1 模块描述 49 7.1.2 模块类图 49 7.1.3 模块序列图 50 7.1.4 重要类和接口描述 50 7.2 分类模块 52 7.2.1 模块描述 52 7.2.2 模块类图 53 7.2.3 模块序列图 54 7.2.4 重要类和接口描述 55 第8章 导出子系统 59 8.1 导出到规则库 59 8.1.1 业务类型导出到规则库 59 8.1.2 归类列表导出到规则库 59 第9章 二级域名的网页采集 60 9.1 二级域名Http访问模块 60 9.1.1 模块描述 60 9.1.2 模块类图 61 9.1.3 模块序列图 62 9.1.4 重要类和接口描述 62 第10章 二级域名预处理 65 10.1 二级域名建立正向索引 65 10.1.1 模块描述 65 10.1.2 模块类图 65 10.1.3 模块序列图 66 10.1.4 重要类和接口描述 66 引言 目的 本说明书的编写目的是为了向用户单位、承建单位的相关人员说明系统总体设计的技术方案，从程序系统的设计角度出发，考虑系统中的整体架构、处理流程、模块划分、功能分配、接口设计、运行环境、数据结构设计和出错处理设计等内容，以向整个设计期提供关于程序系统的逻辑和数据功能实现方式的总体描述，从而作为程序详细设计或编码的基础。设计阶段将以本文档为核心文档。 本概要设计说明书的适用读者为：客户代表、业务分析人员、系统架构师、系统开发人员、测试人员。 参考资料 序号 文档名称 作者 版本/日期 1 网络爬虫概要设