- 7
- 0
- 约1.73万字
- 约 16页
- 2023-06-17 发布于四川
- 举报
本发明公开了一种网络爬虫任务的调度方法及装置。其中,该方法包括:获取待爬取目标数据的初始网络地址列表;依据上述待爬取目标数据的优先级信息,将上述初始网络地址列表对应加入上述目标消息队列中,创建得到爬虫任务,其中,多个目标消息队列中的每个上述目标消息队列的优先级不同;在检测到指示执行上述爬虫任务的情况下,依据上述目标消息队列的优先级和上述初始网络地址列表爬取网页,获取目标网络地址列表;依据上述目标网络地址列表的优先级,将上述目标网络地址列表对应放入待爬取网络地址队列中;依据上述待爬取网络地址队列的
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 111444412 A
(43)申请公布日
2020.07.24
(21)申请号 20201
原创力文档

文档评论(0)