网络爬虫任务的调度方法及装置.pdfVIP

  • 7
  • 0
  • 约1.73万字
  • 约 16页
  • 2023-06-17 发布于四川
  • 举报
本发明公开了一种网络爬虫任务的调度方法及装置。其中,该方法包括:获取待爬取目标数据的初始网络地址列表;依据上述待爬取目标数据的优先级信息,将上述初始网络地址列表对应加入上述目标消息队列中,创建得到爬虫任务,其中,多个目标消息队列中的每个上述目标消息队列的优先级不同;在检测到指示执行上述爬虫任务的情况下,依据上述目标消息队列的优先级和上述初始网络地址列表爬取网页,获取目标网络地址列表;依据上述目标网络地址列表的优先级,将上述目标网络地址列表对应放入待爬取网络地址队列中;依据上述待爬取网络地址队列的

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111444412 A (43)申请公布日 2020.07.24 (21)申请号 20201

文档评论(0)

1亿VIP精品文档

相关文档