一种面向高校招投标公告主题爬虫设计.docVIP

一种面向高校招投标公告主题爬虫的设计 　　摘 要：由于通用搜索引擎返回的信息过多且主题相关性不强，使部分企业未能及时获取高校招标公告，错失中标机会。针对这种情况，提出了高校招投标公告主题爬虫的设计方法。爬虫首先通过主题确立、网页聚类，将高校招投标公告聚集页面存储起来，然后爬虫每日从高校招投标聚集页面采集最新公告。实验结果表明，该爬虫能及时更新高校招投标公告且准确率较高，较好地为高校招投标信息网站建设提供数据来源。 　　关键词：主题爬虫；搜索引擎；招投标；主题相关性；网页聚类 　　DOIDOI：10.11907/rjdk.172400 　　中图分类号：TP319 　　文献标识码：A 文章编号：1672-7800（2018）002-0117-03 　　0 引言 　　高校货物、工程、服务的需求量日益增多，投资成本越来越高。项目一般通过高校网站公开发布项目的招投标信息[1]，而通用搜索引擎无法获取专业的招投标信息，逐一登录各高校网站查询招投标公告又非常繁琐，且招投标信息网基本都是收费的，缴费用户才能看到招标公告详细信息。招投标公告具有时效性，倘若公司因为错过了投标期限而未能中标，这对高校和企业都是一笔损失。 　　为了解决这一问题，需要将全国高校的招投标公告汇总并及时更新，给用户提供一个实用的查询接口。因此，本文对高校招投标公告主题爬虫进行了整体研究和设计。 　　1 主题爬虫结构 　　招投标公告发布有一定规范。大多高校都将招投标公告发布在高校网站的通知公告页面或高校招投标办公室网站，方便用户查询。 　　主题爬虫模拟用户浏览网页行为，从种子URL开始，向服务器发出请求。服务器作出响应，爬虫将响应资源下载，并从响应资源中获取新的URL，一层层地遍历整个互联网[2]。 　　为了让用户及时查询高校招投标公告，主题应当保证每日至少遍历一次各高校网站，以获取新的招投标公告。但每次都从首页开始遍历，显然十分耗时。本主题爬虫在第一次运行后，能将各高校的招投标公告聚集的页面保存下来，之后爬虫从招投标公告聚集的页面直接获取更新公告即可，大大节省了更新招投标公告所需时间，提高了效率。 　　依据高校招投标公告的分布特点及主题爬虫的行为特性，将高校招投标公告主题爬虫划分为以下几个模块：高校URL种子队列、网页采集模块、URL预处理模块、正文提取模块、主题确立模块、网页聚类模块、招投标公告聚集页面URL队列、招投标公告采集模块。 　　高校招投标公告主题爬虫结构如图1所示。 　　招投标公告主题爬虫处理流程：①检查招投标公告聚集页面URL队列是否为空，若为空执行步骤②，否则执行步骤③；②从高校URL种子队列逐一取出URL，通过网页采集模块和URL预处理模块遍历高校网站的前n层。通过文本提取主题，对采集的页面进行聚类，将判定为招投标公告聚集页面的URL存入招投标公告URL队列；③逐一取出URL，通过URL预处理模块，将判定为招投标公告的URL存入URL队列；④通?^正文提取，将招投标公告URL队列中对应网页的招投标公告详细信息存入数据库。 　　2 主题爬虫设计 　　2.1 主题确立模块 　　主题确立是网页聚类的准备工作，为网页聚类提供特征词集。主题关键词集采用特征提取方式获取。首先通过人工选取若干高校招投标公告聚集页面（该页面是招投标公告以列表形式展示的页面，而不是招投标公告的详细页面）。对招投标公告聚集页面进行文本提取，分词和去无用词（“的”，“也”，“是”等），然后结合本爬虫特点，对TF-IDF算法进行一些改动，获取特征词权值，将权值较高的若干特征词作为高校招投标公告聚集页面的特征词集。 　　最经典的TF-IDF[3]是通过TF值（词条频率）与IDF值（逆文本频率）的乘积获得特征词的权值。不难发现，这样取得的特征词集能很好地表示单个页面的特征，即TF*IDF能计算出页面的个性词集。而本爬虫要从若干高校招投标公告聚集页面提取高校招投标的共性词，TF*IDF显然不适用。但是不难想象，单个高校招投标聚集页面的特征词集应为高校名称和招投标类词汇。高校名称能代表页面个性，而招投标类词汇代表页面共性，如果使用TF*IDF，显然会突出高校名称而忽略了招投标类词。所以，本爬虫在计算高校招投标公告聚集页面的特证词集时，将TF-IDF的计算公式改为TF/IDF，用以突出页面共性词（标投标类词汇），降低页面共性词（高校名称）的权重。 　　TF（Term Frequency），即词条频率（词条出现的次数除以文本总词数），词条在文本中出现的次数越多，TF值越高。 　　Fi为词条在文本中出现的次数，Z为文本总词数。 　　但是“的”，“也”等无意义词条也会频繁出现，这些显然不能作为文本的特征词。IDF（Inverse Document Frequen