网络蜘蛛需求说明.docVIP

院 系：计算机学院计算机 实验课程：软件工程案例教程 实验项目：小型网络蜘蛛 指导老师：王涛 开课时间：2011~2012 年度第 二 学期 专 业：软件工程 班 级：09级09班 姓 名 :王建竣 学 号 :20092100004 华南师范大学教务 目录 1 引言 1 1.1 编写目的 1 1.2 范围 1 1.3 定义 1 1.4 参考资料 1 2 项目概述 2 2.1 产品描述 2 2.2 产品功能 2 2.3 用户特点 2 2.4 一般约束 2 3 具体需求 3 3.1 功能需求 3 3.1.1 开始下载网页并且搜索网页中的所有链接 3 3.1.2 按照给定个关键字过滤搜索到的网页 3 3.1.3 暂停网络爬虫的工作 4 3.1.4 停止网络爬虫的工作 4 3.1.5 对网络爬虫软件进行设置 4 3.1.6 退出软件 5 3.2 设计约束 5 1 引言 1.1 编写目的 本软件需求说明书的目的是定义出清晰的需求,方便编码人员设计出符合规范的软件作品.预期的读者是软件开发人员和软件测试人员 1.2 范围 A 待开发的软件系统的名称；小型网络蜘蛛 B 作用 网络蜘蛛是网络蜘蛛就是一个爬行程序，一个抓取网页的程序 通过网页的链接地址来寻找网页从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网 站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。.3 定义 链接:链接也称超级链接，是指从一个网页指向一个目标的连接关系，所指向的目标可以是另一个网页，也可以是相同网页上的不同位置，还可以是图片、电子邮件地址、文件、甚至是应用程序。 网络标签(Tag)是一种互联网内容组织方式，是相关性很强的关键字，它帮助人们轻松的描述和分类内容，以便于检索和分享，Tag已经成为web 2.0的重要元素。.4 参考资料 要用到的参考资料： 自己动手写网络爬虫； MFC十年经典 2 项目概述 2.1 产品描述 软件的开发意图是构造出一个实现了网络爬虫功能基本功能的软件。本软件是一个独立的小型软件，不需要与其他软件或者接口交互工作。 2.2 产品功能 2.3 用户特点 用户需要具备一定的程序设计知识和计算机基础知识，基本的逻辑思维和阅读能力。 2.4 一般约束 实用C++ 和 MFC框架进行开发 3 具体需求 3.1 功能需求 3.1.1 开始下载网页并且搜索网页中的所有链接 引言 输入起始网页，能够抓取网页中的所有链接，并把链接保存在工作链表中。根据起始网页搜索到所有链接是网络爬虫最基本的功能。 输入 起始网页 加工 检查网页的合法性 下载网页 遍历网页，找出所有的链接 把链接保存在工作链表 递归调用 输出 下载的网页 3.1.2 按照给定个关键字过滤搜索到的网页 引言 用关键字过滤掉不需要的网页，增加网络爬虫的有效抓取 输入 关键字 加工 根据关键字匹配抓取到的域名 抛弃不需要的域名 输出 保存域名中不含关键字的网页 3.1.3 暂停网络爬虫的工作 引言 暂时停止网络爬虫软件的工作 输入 消息 加工 暂停网络爬虫抓取网页的线程 输出 无 3.1.4 停止网络爬虫的工作 引言 完全停止网络爬虫软件的工作 输入 消息 加工 停止网络爬虫抓取网页的线程 输出 无 3.1.5 对网络爬虫软件进行设置 引言 设置软件的参数，如开机启动，最小化到托盘. 输入 参数 加工 根据参数安排软件的工作 输出 无 3.1.6 退出软件 3.2 设计约束 在PC/windows平台下工作 软件需求说明书编写规范 软件需求说明书编写规范 第 5 页