网络论坛爬虫设计.docVIP

网络论坛爬虫设计 　　摘要：该文首先通过设计一种论坛爬虫程序来获取多个网络论坛中的帖子，并将这些不同格式的帖子转换成统一格式的XML文件，最后将这些XML文件转为倒排文档的索引文件，从而满足了用户对多论坛信息获取的需求。 　　关键词：论坛爬虫；网络论坛；信息聚合 　　中图分类号：TP393文献标识码：A文章编号：1009-3044(2012)03-0570-03 　　网络论坛作为一种信息交流的平台蕴含着大量由用户发表的主题信息，目前互联网上出现了越来越多的具有较高信息聚合度的网络论坛，它们分散在互联网的各个角落，形成了新的“信息孤岛”。用户往往需要访问多个网络论坛来获取这些分散的信息。因此，有必要整合这些“信息孤岛”中的信息，为用户提供统一的访问接口来获取网络论坛中的信息。 　　该文首先通过设计一种论坛爬虫程序来获取多个网络论坛中的帖子，并将这些不同格式的帖子转换成统一格式的XML文件，最后将这些XML文件转为倒排文档的索引文件，从而满足了用户对多论坛信息获取的需求。 　　 1网络论坛分析 　　为了整合多个论坛中的信息就需要对多个论坛的信息进行分析并抽象出共同的特征。目前，绝大数论坛都是由板块和帖子构成，即若干主题相关的帖子聚合形成板块，若干板块聚合构成论坛。每个论坛中的帖子地址和板块地址都具有相同的URL地址格式。帖子的URL地址显示了该帖子的内容；而板块的URL地址显示的是帖子标题列表，由于一个板块具有多个帖子，所以往往要划分为多个页面来显示，所以这里的板块URL地址是第一页，通过翻页地址可以链接到该板块的下一页。以“采购经理人论坛”网站为例，帖子的URL地址格式如下：http://bbs.省略/forum.php?mod=viewthreadtid={articleId}extra=page%3D{nextPage? Id}。其中{articleId}是帖子的数字编号，{nextPageId}是翻页地址的数字编号，即当前板块的页面编号。板块的URL地址的格式如下：http://bbs.省略/forum.php?mod=forumdisplayfid={boardId}。其中{boardId}是板块的数字编号。板块翻页URL地址的格式如下： 　　http://bbs.省略/forum.php?mod=forumdisplayfid={boardId}page={nextPageId}，这里的{boardId}是板块的数字编号而，{nextPageId}是板块的页面编号。 　　因此，本文认为一个论坛可以通过论坛名称、论坛首页地址、板块地址格式、帖子地址格式、板块翻页地址格式等来描述，从论坛首页地址出发可以找出所有与板块地址格式相匹配的板块地址，再从板块地址出发就可以找到所有与帖子地址格式相匹配的帖子地址，最后由帖子地址即可以得到帖子所包含的信息。 　　 2论坛爬虫设计 　　2.1论坛爬虫分析 　　论坛爬虫的主要任务是从某个论坛的首页地址出发下载该论坛的所有帖子。它涉及到的三个实体类分别为：论坛实体、板块实体和帖子实体，与之对应的JavaBean对象分别为：SiteBean、BoardBean、ArticleBean，具体分析如下： 　　SiteBean是对论坛基本信息的封装，其属性包括论坛名称（SiteName）、论坛地址（SiteUrl）、板块地址格式（boardUrl）、帖子地址格式（articleUrl）、翻页地址格式（nextPageUrl）。在数据库中使用SiteInfo数据表来存放SiteBean实体类。 　　BoardBean是对板块信息的封装，其属性包含了板块编号（boardId）、板块名称（boardTitle）、板块地址（boardUrl）、帖子列表（arti? cleList）、论坛地址（SiteUrl）。这里的articleList是一个数据类型为LinkedList的集合。在数据库中使用BoardInfo数据表来存放BoardBean实体类。 　　ArticleBean是对帖子信息的封装，其属性包括帖子地址（articleUrl）、帖子标题（articleTitle）、帖子编号（articleId）、发表时间（post? Date）、保存时间（saveDate）、帖子标识（visitedFlag）、所属板块（boardUrl）、所属论坛（SiteUrl）。其中visitedFlag字段表示帖子的处理状态，当visitedFlag=0时表示当前的帖子是新帖子但还未被保存；当visitedFlag==1是表示帖子已经被保存但是还没有被转化为XML文档；当visitedFlag==2时表示该帖子已经加入到索引中处理完毕；当visitedFlag==-1时，表示该帖子的处理失