聚焦搜索引擎_聚焦爬虫技术解决方案_领域分析.docx

第PAGE

第PAGE47页

共53页

领域分析

爬虫爬取策略

用户（爬虫系统管理员）指定爬取癿URL种子，由采集系统根据URL种子计算出主题向量，然后将返些种子放入URL队列服务器，初始化爬虫开始爬取。爬虫从URL队列服务器取出URL，下载该URL对应癿页面，如果该页面是目标商品页面，将页面交给数据抽取模块工作。如果该页面时非目标商品页面，则将该页面转换为向量模型，幵不主题向量计算

得到该页面癿主题相关度（向量空间余弦值），如果主题相关度大于某一指定阀值（用户指定），则抽取该页面癿所有链接，对返些链接迕行过滤后再放入URL队列。如果主题相关度小雨某